crawler_bot

爬虫监控

https://git.yishihui.com/Server/crawler_bot.git

增加监控渠道

1. feishu_lib:
   1. 增加爬虫表链接
   2. 增加飞书路径token: feishu_lib.spreadsheettoken
   3. 增加机器人消息: feishu_lib.bot
2. run_bot:
   1. 增加爬虫最新数据抓取时间: run_bot.get_first_time
   2. 增加触发机器人报警机制: run_bot.robot_download_sheet
   3. 主函数增加渠道: run_bot.main

软件架构

1. python==3.10
2. loguru==0.6.0
3. oss2==2.15.0
4. requests==2.27.1
5. urllib3==1.26.9

使用说明

1. cd ./crawler_bot
2. python3 ./main/run_bot.py

需求

2022/12/06

1. 增加报警:好看视频 PC 版

2022/11/30

1. 增加报警: 宗教公众号

2022/11/21

1. 增加报警: 祝福猫视频

2022/11/09

1. 增加报警: 岁岁年年迎福气小程序

2022/11/07

1. 增加: 吉祥幸福小程序报警
2. 增加: 众妙音信小程序报警

2022/11/03

1. 增加:知乎 PC 端爬虫报警

2022/10/20

1. 增加: 西瓜视频报警

2022/10/19

1. 小年糕3种爬取方式分别报警

2022/9/13

1. 增加监控渠道: 视频号

2022/8/19

1. 增加监控渠道: 公众号 / 微视

2022/8/10

1. 每天检查一次已下载表
2. 已下载表的最新一条数据抓取时间，距当前时间超过 24 小时，则触发机器人报警，发送飞书报警消息