# 爬虫监控
https://git.yishihui.com/Server/crawler_bot.git

#### 增加监控渠道
1. feishu_lib:
   1. 增加爬虫表链接
   2. 增加飞书路径token: feishu_lib.spreadsheettoken
   3. 增加机器人消息: feishu_lib.bot
2. run_bot:
   1. 增加爬虫最新数据抓取时间: run_bot.get_first_time
   2. 增加触发机器人报警机制: run_bot.robot_download_sheet
   3. 主函数增加渠道: run_bot.main

#### 软件架构
1. python==3.10 
2. loguru==0.6.0 
3. oss2==2.15.0 
4. requests==2.27.1 
5. urllib3==1.26.9


#### 使用说明
1. cd ./crawler_bot 
2. python3 ./main/run_bot.py 


#### 需求
2022/11/21
1. 增加报警: 祝福猫视频

2022/11/09
1. 增加报警: 岁岁年年迎福气小程序

2022/11/07
1. 增加: 吉祥幸福小程序报警
2. 增加: 众妙音信小程序报警

2022/11/03
1. 增加:知乎 PC 端爬虫报警

2022/10/20
1. 增加: 西瓜视频报警

2022/10/19
1. 小年糕3种爬取方式分别报警

2022/9/13
1. 增加监控渠道: 视频号

2022/8/19
1. 增加监控渠道: 公众号 / 微视

2022/8/10
1. 每天检查一次已下载表 
2. 已下载表的最新一条数据抓取时间，距当前时间超过 24 小时，则触发机器人报警，发送飞书报警消息