爬虫监控
增加监控渠道
- feishu_lib:
- 增加爬虫表链接
- 增加飞书路径token: feishu_lib.spreadsheettoken
- 增加机器人消息: feishu_lib.bot
- run_bot:
- 增加爬虫最新数据抓取时间: run_bot.get_first_time
- 增加触发机器人报警机制: run_bot.robot_download_sheet
- run_bot.main:
软件架构
- python==3.10
- loguru==0.6.0
- oss2==2.15.0
- requests==2.27.1
- urllib3==1.26.9
使用说明
- cd ./crawler_bot
- sh bot.sh
更新记录
- 2022/01/17 增加报警: 好看 PC 版 定向榜单报警
- 2022/01/11 增加报警: 刚刚都传
- 2022/12/06 增加报警: 好看视频 PC 版
- 2022/11/30 增加报警: 宗教公众号
- 2022/11/21 增加报警: 祝福猫视频
- 2022/11/09 增加报警: 岁岁年年迎福气小程序
- 2022/11/07 增加报警: 吉祥幸福小程序；众妙音信小程序
- 2022/11/03 增加报警: 知乎 PC 版
- 2022/10/20 增加报警: 西瓜视频 PC 版
- 2022/10/19 增加报警: 小年糕_上升榜；小年糕_定向榜；小年糕_播放量榜
- 2022/09/13 增加报警: 微信视频号
- 2022/08/19 增加报警: 公众号 / 微视
- 2022/08/10 每天 10 点检查一次已下载表； 已下载表的最新一条数据抓取时间，距当前时间超过 24 小时，则触发机器人报警，发送飞书报警消息
