看一看+小程序爬虫:推荐页 python==3.10.0 loguru==0.6.0 oss2==2.15.0 requests==2.27.1 urllib3==1.26.9 执行入口: cd ./crawler-kanyikan-Windows python3 main/run.py ==========2022/4/21=========== - 视频发布7日内,播放量大于1万(当前时间 - 发布时间 <= 7 天) - 任务执行规则: 1.凌晨0点-10点 7日内播放大于1万 爬取 2.早上10点-20点 内容上升榜 爬取 3.晚上20点-24点 15万播放爬取 ==========2022/4/15=========== - 视频发布3日内,播放量大于2万(当前时间 - 发布时间 <= 3 天) - 视频时长1分钟以上,10分钟以下 - 分辨率 宽或高大于720 - 分享量>0 - 站内标题=看一看视频原标题 - 站内封面图=看一看视频原封面图 - 任务执行规则: 1.凌晨0点-10点 3日内播放大于2万 爬取 2.早上10点-20点 内容上升榜 爬取 3.晚上20点-24点 15万播放爬取 ==========2022/3/29=========== 1.凌晨5:00 - 21:00,跑上升榜爬虫(循环隔 1 小时,检查播放量>=1000) 2.晚上21:00 - 5:00,跑播放量爬虫(播放量>=200000) 3.视频下载后,立即上传 ==========2022/3/24=========== 1.周一至周五,跑上升榜爬虫(循环隔 1 小时,检查播放量>=1000) 2.周六至周日,跑播放量爬虫(播放量>=200000) 3.视频下载后,立即上传 4.下周一时,暂停播放量爬虫,恢复上升榜爬虫 ==========2022/3/15=========== 1.拿到外网视频 list 2.去重 3.获取当前抓取时间、以及播放量、加上基本规则,存储本地: 3.1 分辨率,宽或者高 >= 720 或 无分辨 3.2 600 >= 时长 >= 60 4.循环隔 1 小时,检查播放量 >=1000(当前播放量 - 1 小时前的播放量),开始抓取。同时从本地存储中删除,加入到去重文本中。 5.下载总条数,先不限制 6.下载时间:早上 8 点 - 晚上 21 点截止 7.下载完成后立即上传