python+appium+chromedriver 模拟人类行为采集爬虫
|
пре 1 година | |
---|---|---|
app | пре 1 година | |
application | пре 1 година | |
scheduler | пре 1 година | |
spider | пре 1 година | |
.gitignore | пре 1 година | |
LICENSE | пре 1 година | |
README.md | пре 1 година | |
docker-compose.yml | пре 1 година | |
requirements.txt | пре 1 година |
通用功能
配置文件
特殊功能方法
规范化item,保证送往ETL的消息格式正确
管道,所有视频信息在发送之前需要过管道的规则判断
爬虫代码
调度中心
##