wangkun
ded2a9992e
update
|
%!s(int64=2) %!d(string=hai) anos | |
|---|---|---|
| main | %!s(int64=2) %!d(string=hai) anos | |
| .gitignore | %!s(int64=2) %!d(string=hai) anos | |
| README.md | %!s(int64=2) %!d(string=hai) anos | |
| bot.sh | %!s(int64=2) %!d(string=hai) anos | |
| git_push.sh | %!s(int64=2) %!d(string=hai) anos |
README.md
爬虫监控
增加监控渠道
- feishu_lib:
- 增加爬虫表链接
- 增加飞书路径token: feishu_lib.spreadsheettoken
- 增加机器人消息: feishu_lib.bot
- run_bot:
- 增加爬虫最新数据抓取时间: run_bot.get_first_time
- 增加触发机器人报警机制: run_bot.robot_download_sheet
- run_bot.main:
- 主函数增加相应渠道
软件架构
- python==3.10
- loguru==0.6.0
- oss2==2.15.0
- requests==2.27.1
- urllib3==1.26.9
使用说明
- cd ./crawler_bot
- sh bot.sh
更新记录
- 2022/01/17 增加报警: 公众号_信欣_报警
- 2022/01/17 增加报警: 好看 PC 版 定向榜单报警
- 2022/01/11 增加报警: 刚刚都传
- 2022/12/06 增加报警: 好看视频 PC 版
- 2022/11/30 增加报警: 宗教公众号
- 2022/11/21 增加报警: 祝福猫视频
- 2022/11/09 增加报警: 岁岁年年迎福气小程序
- 2022/11/07 增加报警: 吉祥幸福小程序；众妙音信小程序
- 2022/11/03 增加报警: 知乎 PC 版
- 2022/10/20 增加报警: 西瓜视频 PC 版
- 2022/10/19 增加报警: 小年糕_上升榜；小年糕_定向榜；小年糕_播放量榜
- 2022/09/13 增加报警: 微信视频号
- 2022/08/19 增加报警: 公众号 / 微视
- 2022/08/10 每天 10 点检查一次已下载表； 已下载表的最新一条数据抓取时间，距当前时间超过 24 小时，则触发机器人报警，发送飞书报警消息