Inicio Explorar Axuda
Iniciar sesión
Server
/
crawler_bot
10
0
Fork 0
Ficheiros Incidencias 0 Pull Requests 0 Wiki

爬虫监控

Árbore: 34236f9b1a
Ramas Etiquetas
crawler_bot
ZIP TAR.GZ
wangkun 34236f9b1a update %!s(int64=2) %!d(string=hai) anos
logs 949a3da71c first push %!s(int64=2) %!d(string=hai) anos
main 4af8e3701d update %!s(int64=2) %!d(string=hai) anos
.gitignore ce3db7374f push readme.md %!s(int64=2) %!d(string=hai) anos
README.md 2b8696cb42 update %!s(int64=2) %!d(string=hai) anos
bot.sh f499a6fa15 update %!s(int64=2) %!d(string=hai) anos
push.sh 34236f9b1a update %!s(int64=2) %!d(string=hai) anos

README.md

爬虫监控

https://git.yishihui.com/Server/crawler_bot.git

增加监控渠道

  1. feishu_lib:
    1. 增加爬虫表链接
    2. 增加飞书路径token: feishu_lib.spreadsheettoken
    3. 增加机器人消息: feishu_lib.bot
  2. run_bot:
    1. 增加爬虫最新数据抓取时间: run_bot.get_first_time
    2. 增加触发机器人报警机制: run_bot.robot_download_sheet
    3. 主函数增加渠道: run_bot.main

软件架构

  1. python==3.10
  2. loguru==0.6.0
  3. oss2==2.15.0
  4. requests==2.27.1
  5. urllib3==1.26.9

使用说明

  1. cd ./crawler_bot
  2. sh bot.sh

需求

2022/12/06

  1. 增加报警:好看视频 PC 版

2022/11/30

  1. 增加报警: 宗教公众号

2022/11/21

  1. 增加报警: 祝福猫视频

2022/11/09

  1. 增加报警: 岁岁年年迎福气小程序

2022/11/07

  1. 增加: 吉祥幸福小程序报警
  2. 增加: 众妙音信小程序报警

2022/11/03

  1. 增加:知乎 PC 端爬虫报警

2022/10/20

  1. 增加: 西瓜视频报警

2022/10/19

  1. 小年糕3种爬取方式分别报警

2022/9/13

  1. 增加监控渠道: 视频号

2022/8/19

  1. 增加监控渠道: 公众号 / 微视

2022/8/10

  1. 每天检查一次已下载表
  2. 已下载表的最新一条数据抓取时间，距当前时间超过 24 小时，则触发机器人报警，发送飞书报警消息