Server/automatic_crawler: python+appium+chromedriver 模拟人类行为采集爬虫 @ 33f428c0f1b0c0c160892c151bdb33d30bb40eb1 - Gogs

python+appium+chromedriver 模拟人类行为采集爬虫

123 Commits

11 Branches

0 Releases

zhangyong 33f428c0f1 吉祥幸福取消人工更换token		vor 1 Jahr
app	7a80634bdf festival_reminder.py增加四龙日	vor 1 Jahr
application	6f5ff74697 吉祥幸福代码优化	vor 1 Jahr
scheduler	02ea01fa18 增加祝福好运暴富线下爬虫	vor 1 Jahr
spider	33f428c0f1 吉祥幸福取消人工更换token	vor 1 Jahr
.gitignore	e1c84e77eb Initial commit	vor 1 Jahr
LICENSE	e1c84e77eb Initial commit	vor 1 Jahr
README.md	ff1245352c test	vor 1 Jahr
docker-compose.yml	0229748068 初始化项目	vor 1 Jahr
requirements.txt	a0c04c0f3a 自动入池方法上线	vor 1 Jahr

automatic_crawler

python+appium+chromedriver 模拟人类行为采集爬虫

common

通用功能

aliyun 阿里云api

mysql mysql api

proxies 代理

config

配置文件

functions

特殊功能方法

items

规范化item，保证送往ETL的消息格式正确

pipeline

管道，所有视频信息在发送之前需要过管道的规则判断

spider

爬虫代码

scheduler

调度中心

##