wangkun
e3944b1df2
update
|
%!s(int64=2) %!d(string=hai) anos | |
|---|---|---|
| .idea | %!s(int64=3) %!d(string=hai) anos | |
| chlsfiles | %!s(int64=3) %!d(string=hai) anos | |
| logs | %!s(int64=3) %!d(string=hai) anos | |
| main | %!s(int64=2) %!d(string=hai) anos | |
| shipinhao | %!s(int64=2) %!d(string=hai) anos | |
| videos | %!s(int64=3) %!d(string=hai) anos | |
| xinshi | %!s(int64=3) %!d(string=hai) anos | |
| .gitignore | %!s(int64=3) %!d(string=hai) anos | |
| README.md | %!s(int64=2) %!d(string=hai) anos | |
| shipinhao.sh | %!s(int64=2) %!d(string=hai) anos |
README.md
crawler_shipinhao
- git:https://git.yishihui.com/Server/crawler_shipinhao.git
- 需求:https://w42nne6hzg.feishu.cn/docx/doxcny2B80x9h5B6iu4a36jsiDc
- 爬虫表:https://w42nne6hzg.feishu.cn/sheets/shtcn9rOdZRAGFbRkWpn7hqEHGc
介绍
视频号爬虫项目
软件架构
- python==3.10
- Appium_Python_Client==2.6.1
- loguru==0.6.0
- oss2==2.15.0
- psutil==5.9.2
- requests==2.27.1
- selenium==4.4.3
- urllib3==1.26.9
使用说明
- cd ./crawler_shipinhao
- sh shipinhao.sh
需求
2022/12/20
- 新增定向脚本
2022/10/27
- 新增新视榜单爬虫
2022/10/18
- 运行时间调整: 10:00:00 - 16:00:00 (包含)
2022/10/12
- 同一账号下的作品最多连续抓取两条视频
2022/10/11
- 推荐榜，每日入库条数限制:100
2022/9/27
- 新增按照话题抓取
2022/9/14
- 修改视频时长>=30s
2022/9/13
- 视频时长>=10s
- 点赞>=1000
- 运行时间: 10:00:00 - 20:00:00
- 上传账号: [20631278, 20631279]