crawler_bot

爬虫监控

• git

增加监控渠道

• feishu_lib:
  • 增加爬虫表链接
  • 增加飞书路径token: feishu_lib.spreadsheettoken
  • 增加机器人消息: feishu_lib.bot
• run_bot:
  • 增加爬虫最新数据抓取时间: run_bot.get_first_time
  • 增加触发机器人报警机制: run_bot.robot_download_sheet
• run_bot.main:
  • 主函数增加相应渠道

软件架构

• python==3.10
• loguru==0.6.0
• oss2==2.15.0
• requests==2.27.1
• urllib3==1.26.9

使用说明

• cd ./crawler_bot
• sh bot.sh

更新记录

• 2022/01/17 增加报警: 公众号_信欣_报警
• 2022/01/17 增加报警: 好看 PC 版 定向榜单报警
• 2022/01/11 增加报警: 刚刚都传
• 2022/12/06 增加报警: 好看视频 PC 版
• 2022/11/30 增加报警: 宗教公众号
• 2022/11/21 增加报警: 祝福猫视频
• 2022/11/09 增加报警: 岁岁年年迎福气小程序
• 2022/11/07 增加报警: 吉祥幸福小程序；众妙音信小程序
• 2022/11/03 增加报警: 知乎 PC 版
• 2022/10/20 增加报警: 西瓜视频 PC 版
• 2022/10/19 增加报警: 小年糕_上升榜；小年糕_定向榜；小年糕_播放量榜
• 2022/09/13 增加报警: 微信视频号
• 2022/08/19 增加报警: 公众号 / 微视
• 2022/08/10 每天 10 点检查一次已下载表； 已下载表的最新一条数据抓取时间，距当前时间超过 24 小时，则触发机器人报警，发送飞书报警消息