python+appium+chromedriver 模拟人类行为采集爬虫
|
hace 1 año | |
---|---|---|
app | hace 1 año | |
application | hace 1 año | |
scheduler | hace 1 año | |
spider | hace 1 año | |
.gitignore | hace 1 año | |
LICENSE | hace 1 año | |
README.md | hace 1 año | |
docker-compose.yml | hace 1 año | |
requirements.txt | hace 1 año |
通用功能
配置文件
特殊功能方法
规范化item,保证送往ETL的消息格式正确
管道,所有视频信息在发送之前需要过管道的规则判断
爬虫代码
调度中心
##