crawler_zongjiao

宗教类公众号爬虫 crawler_zongjiao

1. git: https://git.yishihui.com/Server/crawler_zongjiao.git
2. feishu: https://w42nne6hzg.feishu.cn/sheets/shtcn73NW0CyoOeF21HWO15KBsb

软件架构

1. loguru==0.6.0
2. oss2==2.15.0
3. requests==2.27.1
4. urllib3==1.26.9
5. python==3.10

使用说明

1. cd ./crawler_zongjiao
2. python3 main/run_zongjiao.py

需求列表

2022/11/28

1. 视频时长：50秒以上
2. 视频数据（点赞+播放量）无要求
3. 视频分辨率无要求
4. 发布时间：不限制
5. 过滤词:毛泽东、毛主席、周恩来、林彪、习近平、习大大、彭丽媛、拜登、普京、佩洛西、蔡英文、邪教、后续继续补充
6. 运行时间:
   1. 每个用户抓取完，休眠 1 分钟；
   2. 所有用户抓取完，休眠 1 小时；
   3. 24 小时一直抓取
7. 上传账号:[26117622, 26117623, 26117624, 26117625, 26117626, 26117627, 26117628, 26117629, 26117630, 26117631]