微信公众号爬虫

wangkun 697f7da738 update %!s(int64=2) %!d(string=hai) anos
chlsfiles 5b5fc279d5 update %!s(int64=2) %!d(string=hai) anos
main 697f7da738 update %!s(int64=2) %!d(string=hai) anos
.gitignore e4e8803494 push .gitignore %!s(int64=2) %!d(string=hai) anos
README.md a9a4a67082 first push %!s(int64=2) %!d(string=hai) anos

README.md

微信公众号爬虫

git:https://git.yishihui.com/Server/crawler_gzh.git

feishu:https://w42nne6hzg.feishu.cn/sheets/shtcnexNXnpDLHhARw0QdiwbYuA?

loguru==0.6.0 oss2==2.15.0 requests==2.27.1 urllib3==1.26.9 python==3.10

入口:

cd ./crawler

python3 ./crawler_gzh/main/run_xxx.py

需求列表

2022/8/4 https://w42nne6hzg.feishu.cn/docx/doxcndwbtMudFHh7r4alaJoykke

1、任务开始时间

  • 每天早上8点-晚上21点

2、抓取规则:

  • 视频时长1分钟以上,20分钟以下
  • 站内标题=公众号 视频原标题
  • 站内封面图=公众号 视频原封面图

3、站内承接:

  • 每日入库100条视频

  • 视频随机分配到5个虚拟账号。uid列表: