crawler_kandaojiushifuqi

crawler_kandaojiushifuqi

1. git:https://git.yishihui.com/Server/crawler_kandaojiushifuqi.git
2. 需求:https://w42nne6hzg.feishu.cn/docx/Tf7KdSHoqoF23CxZwjzcpXQWn9b
3. 爬虫表:https://w42nne6hzg.feishu.cn/sheets/shtcnEokBkIjOUPAk8vbbPKnXgb?sheet=ad3b6d

介绍

看到就是福气小程序爬虫项目

软件架构

1. python==3.10
2. Appium_Python_Client==2.6.1
3. loguru==0.6.0
4. oss2==2.15.0
5. psutil==5.9.2
6. requests==2.27.1
7. selenium==4.4.3
8. urllib3==1.26.9

使用说明

1. cd ./crawler_kandaojiushifuqi
2. sh kandaojiushifuqi.sh

需求

2022/12/28

1. 爬取规则
   1. 标题=原标题
   2. 封面=原封面
2. 运行时间: 00:00:00 - 03:59:59
3. 入库限制
   1. 暂时不设限制,看一下一天能入库多少视频(注意去重)
   2. 站内承接账号[26117644, 26117645, 26117646, 26117647, 26117648]