Server/automatic_crawler: python+appium+chromedriver 模拟人类行为采集爬虫 @ c208547b73a7816b33bddbd81945a8c7e6869067 - Gogs

python+appium+chromedriver 模拟人类行为采集爬虫

217 Commit-ok

11 Ágak

0 Kiadások

zhangliang c208547b73 中青看点		10 hónapja
app	b9c9bcc9d1 增加日志	10 hónapja
application	5ab3c4f547 增加日志	10 hónapja
scheduler	d46fd6ebc9 update	10 hónapja
spider	c208547b73 中青看点	10 hónapja
.gitignore	2806693c91 新增超级票圈、绚烂祝福、新春祝福和朝朝欢喜祝福语四个小程序	11 hónapja
LICENSE	e1c84e77eb Initial commit	2 éve
README.md	ff1245352c test	2 éve
docker-compose.yml	0229748068 初始化项目	2 éve
requirements.txt	2806693c91 新增超级票圈、绚烂祝福、新春祝福和朝朝欢喜祝福语四个小程序	11 hónapja
xng_zh_job.py	6b391b2bce 调试	1 éve

automatic_crawler

python+appium+chromedriver 模拟人类行为采集爬虫

common

通用功能

aliyun 阿里云api

mysql mysql api

proxies 代理

config

配置文件

functions

特殊功能方法

items

规范化item，保证送往ETL的消息格式正确

pipeline

管道，所有视频信息在发送之前需要过管道的规则判断

spider

爬虫代码

scheduler

调度中心

##