# 看一看+小程序爬虫
1. git: https://git.yishihui.com/Server/crawler_kanyikan.git
2. feishu: https://w42nne6hzg.feishu.cn/sheets/shtcngRPoDYAi24x52j2nDuHMih

#### 软件架构
python==3.10.0
loguru==0.6.0
oss2==2.15.0
requests==2.27.1
urllib3==1.26.9

#### 使用说明
测试调试:
sh kanyikan.sh --log_type="recommend" --crawler="kanyikan" --env="dev"
正式环境:
* * * * * /bin/sh /Users/lieyunye/Desktop/crawler/crawler_kanyikan/kanyikan.sh --log_type="recommend" --crawler="kanyikan" --env="prod"
杀进程
ps aux | grep kanyikan_recommend | grep -v grep | awk '{print $2}' | xargs kill -9

videoid.txt 存储视频信息:
   - 视频 ID
   - 视频标题
   - 视频时长
   - 播放次数
   - 评论数
   - 点赞数
   - 分享数
   - 分辨率
   - 发布时间
   - 用户名
   - 头像地址
   - 播放地址
   - 封面地址
   - 外网session

#### 需求
2022/11/09
1. 合并推荐榜及朋友圈代码

2022/6/29
1. 已下载视频表:预留前 5 列备用 
2. 已下载视频表增加列:站内视频链接 
3. 已下载视频，同步信息至监控表:https://w42nne6hzg.feishu.cn/sheets/shtcnlZWYazInhf7Z60jkbLRJyd?sheet=6fed97

2022/6/17
1. 推荐榜运行时间: recommend_feeds 0-24点
2. 7日内播放大于2万，或播放大于15万
3. 新增:download_play_sendtime.py
4. 执行入口:run_download_play_sendtime.py

2022/6/16
1. 凌晨0点-15点 3日内播放大于2万 爬取
2. 晚上15点-24点     15万播放爬取
3. 视频发布7日内，播放量大于2万
4. 视频时长40秒以上
5. 分辨率 宽或高大于720
6. 分享量>0
7. 站内标题=看一看视频原标题 
8. 站内封面图=看一看视频原封面图

2022/4/21
1. 视频发布7日内，播放量大于1万（当前时间 - 发布时间 <= 7 天）
2. 任务执行规则： 
   1. 凌晨0点-10点 7日内播放大于1万 爬取
   2. 早上10点-20点 内容上升榜 爬取
   3. 晚上20点-24点     15万播放爬取

2022/4/15
1. 视频发布3日内，播放量大于2万（当前时间 - 发布时间 <= 3 天）
2. 视频时长1分钟以上，10分钟以下
3. 分辨率 宽或高大于720
4. 分享量>0
5. 站内标题=看一看视频原标题
6. 站内封面图=看一看视频原封面图
7. 任务执行规则：
   1. 凌晨0点-10点      3日内播放大于2万 爬取
   2. 早上10点-20点     内容上升榜 爬取
   3. 晚上20点-24点     15万播放爬取

2022/3/29
1. 凌晨5:00 - 21:00，跑上升榜爬虫（循环隔 1 小时，检查播放量>=1000）
2. 晚上21:00 - 5:00，跑播放量爬虫（播放量>=200000）
3. 视频下载后，立即上传

2022/3/24
1. 周一至周五，跑上升榜爬虫（循环隔 1 小时，检查播放量>=1000）
2. 周六至周日，跑播放量爬虫（播放量>=200000）
3. 视频下载后，立即上传
4. 下周一时，暂停播放量爬虫，恢复上升榜爬虫

2022/3/15
1. 拿到外网视频 list
2. 去重
3. 获取当前抓取时间、以及播放量、加上基本规则，存储本地：
   1. 分辨率，宽或者高 >= 720 或 无分辨
   2. 600 >= 时长 >= 60
4. 循环隔 1 小时，检查播放量 >=1000（当前播放量 - 1 小时前的播放量），开始抓取。同时从本地存储中删除，加入到去重文本中。
5. 下载总条数，先不限制
6. 下载时间：早上 8 点 - 晚上 21 点截止
7. 下载完成后立即上传