wangkun
e3944b1df2
update
|
2 年 前 | |
|---|---|---|
| .idea | 2 年 前 | |
| chlsfiles | 2 年 前 | |
| logs | 2 年 前 | |
| main | 2 年 前 | |
| shipinhao | 2 年 前 | |
| videos | 2 年 前 | |
| xinshi | 2 年 前 | |
| .gitignore | 2 年 前 | |
| README.md | 2 年 前 | |
| shipinhao.sh | 2 年 前 |
README.md
crawler_shipinhao
- git:https://git.yishihui.com/Server/crawler_shipinhao.git
- 需求:https://w42nne6hzg.feishu.cn/docx/doxcny2B80x9h5B6iu4a36jsiDc
- 爬虫表:https://w42nne6hzg.feishu.cn/sheets/shtcn9rOdZRAGFbRkWpn7hqEHGc
介绍
视频号爬虫项目
软件架构
- python==3.10
- Appium_Python_Client==2.6.1
- loguru==0.6.0
- oss2==2.15.0
- psutil==5.9.2
- requests==2.27.1
- selenium==4.4.3
- urllib3==1.26.9
使用说明
- cd ./crawler_shipinhao
- sh shipinhao.sh
需求
2022/12/20
- 新增定向脚本
2022/10/27
- 新增新视榜单爬虫
2022/10/18
- 运行时间调整: 10:00:00 - 16:00:00 (包含)
2022/10/12
- 同一账号下的作品最多连续抓取两条视频
2022/10/11
- 推荐榜，每日入库条数限制:100
2022/9/27
- 新增按照话题抓取
2022/9/14
- 修改视频时长>=30s
2022/9/13
- 视频时长>=10s
- 点赞>=1000
- 运行时间: 10:00:00 - 20:00:00
- 上传账号: [20631278, 20631279]