Server/automatic_crawler: python+appium+chromedriver 模拟人类行为采集爬虫 @ add_log_0428 - Gogs

python+appium+chromedriver 模拟人类行为采集爬虫

208 Комити

11 Гране

zhangliang 5ab3c4f547 增加日志		пре 10 месеци
app	b9c9bcc9d1 增加日志	пре 10 месеци
application	5ab3c4f547 增加日志	пре 10 месеци
scheduler	d46fd6ebc9 update	пре 10 месеци
spider	55a42f0367 调整小年糕推荐流请求次数	пре 10 месеци
.gitignore	2806693c91 新增超级票圈、绚烂祝福、新春祝福和朝朝欢喜祝福语四个小程序	пре 11 месеци
LICENSE	e1c84e77eb Initial commit	пре 2 година
README.md	ff1245352c test	пре 2 година
docker-compose.yml	0229748068 初始化项目	пре 2 година
requirements.txt	2806693c91 新增超级票圈、绚烂祝福、新春祝福和朝朝欢喜祝福语四个小程序	пре 11 месеци
xng_zh_job.py	6b391b2bce 调试	пре 1 година

automatic_crawler

python+appium+chromedriver 模拟人类行为采集爬虫

common

通用功能

aliyun 阿里云api

mysql mysql api

proxies 代理

config

配置文件

functions

特殊功能方法

items

规范化item，保证送往ETL的消息格式正确

pipeline

管道，所有视频信息在发送之前需要过管道的规则判断

spider

爬虫代码

scheduler

调度中心

##