Server/automatic_crawler: python+appium+chromedriver 模拟人类行为采集爬虫 @ c208547b73a7816b33bddbd81945a8c7e6869067 - Gogs

python+appium+chromedriver 模拟人类行为采集爬虫

217 کامیت‌ها

11 شاخه‌ها

0 انتشارها

zhangliang c208547b73 中青看点		10 ماه پیش
app	b9c9bcc9d1 增加日志	10 ماه پیش
application	5ab3c4f547 增加日志	10 ماه پیش
scheduler	d46fd6ebc9 update	10 ماه پیش
spider	c208547b73 中青看点	10 ماه پیش
.gitignore	2806693c91 新增超级票圈、绚烂祝福、新春祝福和朝朝欢喜祝福语四个小程序	11 ماه پیش
LICENSE	e1c84e77eb Initial commit	2 سال پیش
README.md	ff1245352c test	2 سال پیش
docker-compose.yml	0229748068 初始化项目	2 سال پیش
requirements.txt	2806693c91 新增超级票圈、绚烂祝福、新春祝福和朝朝欢喜祝福语四个小程序	11 ماه پیش
xng_zh_job.py	6b391b2bce 调试	1 سال پیش

automatic_crawler

python+appium+chromedriver 模拟人类行为采集爬虫

common

通用功能

aliyun 阿里云api

mysql mysql api

proxies 代理

config

配置文件

functions

特殊功能方法

items

规范化item，保证送往ETL的消息格式正确

pipeline

管道，所有视频信息在发送之前需要过管道的规则判断

spider

爬虫代码

scheduler

调度中心

##