## automatic_crawler

###### python+appium+chromedriver 模拟人类行为采集爬虫

### common   
通用功能
###### aliyun  阿里云api
###### mysql  mysql api
###### proxies  代理
### config  
配置文件

### functions   
特殊功能方法

### items   
规范化item，保证送往ETL的消息格式正确

### pipeline   
管道，所有视频信息在发送之前需要过管道的规则判断

### spider   
爬虫代码
### scheduler
调度中心

##