crawler_shipinhao

crawler_shipinhao

1. git:https://git.yishihui.com/Server/crawler_shipinhao.git
2. 需求:https://w42nne6hzg.feishu.cn/docx/doxcny2B80x9h5B6iu4a36jsiDc
3. 爬虫表:https://w42nne6hzg.feishu.cn/sheets/shtcn9rOdZRAGFbRkWpn7hqEHGc

介绍

视频号爬虫项目

软件架构

1. python==3.10
2. Appium_Python_Client==2.6.1
3. loguru==0.6.0
4. oss2==2.15.0
5. psutil==5.9.2
6. requests==2.27.1
7. selenium==4.4.3
8. urllib3==1.26.9

使用说明

1. cd crawler_shipinhao
2. python3 ./main/run_shipinhao_recommend.py

需求

2022/10/27

1. 新增新视榜单爬虫

2022/10/18

1. 运行时间调整: 10:00:00 - 16:00:00 (包含)

2022/10/12

1. 同一账号下的作品最多连续抓取两条视频

2022/10/11

1. 推荐榜，每日入库条数限制:100

2022/9/27

1. 新增按照话题抓取

2022/9/14

1. 修改视频时长>=30s

2022/9/13

1. 视频时长>=10s
2. 点赞>=1000
3. 运行时间: 10:00:00 - 20:00:00
4. 上传账号: [20631278, 20631279]