wangkun
5cf762a75b
update
|
2 年之前 | |
|---|---|---|
| .idea | 3 年之前 | |
| chlsfiles | 3 年之前 | |
| logs | 3 年之前 | |
| main | 3 年之前 | |
| shipinhao | 2 年之前 | |
| videos | 3 年之前 | |
| xinshi | 3 年之前 | |
| .DS_Store | 3 年之前 | |
| .gitignore | 3 年之前 | |
| README.md | 3 年之前 | |
| nohup.out | 3 年之前 |
README.md
crawler_shipinhao
- git:https://git.yishihui.com/Server/crawler_shipinhao.git
- 需求:https://w42nne6hzg.feishu.cn/docx/doxcny2B80x9h5B6iu4a36jsiDc
- 爬虫表:https://w42nne6hzg.feishu.cn/sheets/shtcn9rOdZRAGFbRkWpn7hqEHGc
介绍
视频号爬虫项目
软件架构
- python==3.10
- Appium_Python_Client==2.6.1
- loguru==0.6.0
- oss2==2.15.0
- psutil==5.9.2
- requests==2.27.1
- selenium==4.4.3
- urllib3==1.26.9
使用说明
- cd crawler_shipinhao
- python3 ./main/run_shipinhao_recommend.py
需求
2022/10/27
- 新增新视榜单爬虫
2022/10/18
- 运行时间调整: 10:00:00 - 16:00:00 (包含)
2022/10/12
- 同一账号下的作品最多连续抓取两条视频
2022/10/11
- 推荐榜，每日入库条数限制:100
2022/9/27
- 新增按照话题抓取
2022/9/14
- 修改视频时长>=30s
2022/9/13
- 视频时长>=10s
- 点赞>=1000
- 运行时间: 10:00:00 - 20:00:00
- 上传账号: [20631278, 20631279]