crawler_benshanzhufu

本山祝福小程序爬虫

1. git: https://git.yishihui.com/Server/crawler_benshanzhufu.git
2. feishu: https://w42nne6hzg.feishu.cn/sheets/shtcnGh2rrsPYM4iVNEBO7OqWrb?sheet=440018

软件架构

1. ffmpeg==1.4
2. loguru==0.6.0
3. oss2==2.15.0
4. requests==2.27.1
5. urllib3==1.26.9
6. python==3.10

使用说明

1. cd ./crawler_benshanzhufu
2. python3 main/run_recommend.py

需求

2022/10/25

1. 下载视频时长修改为: >= 40s

2022/7/20 项目重启:

1. 接入飞书文档:https://w42nne6hzg.feishu.cn/sheets/shtcnGh2rrsPYM4iVNEBO7OqWrb
2. 代码逻辑重构
3. 时长限制>=60s
4. 宽高限制:宽>=高才会下载及上传
5. 标题敏感词限制

2022/7/18

1. 每个账号上发布3条本山祝福视频 [20631262, 20631263, 20631264, 20631265, 20631266, 20631267, 20631268, 20631269, 20631271, 20631272]

2022/4/29

1. 增加敏感词过滤
2. 每天 11 点开始爬取，上限 200 条
3. 上传账号：[20631241, 20631242, 20631244, 20631245, 20631246, 20631247]

2022/4/27

1. 全爬
2. 每天9-12点进行爬取
3. 上传账号:20631241 / 20631242