소스 검색

1、小年糕和祝福圈子增加曝光
2、中青看点请求重试

zhangliang 1 개월 전
부모
커밋
d5d2635035
2개의 변경된 파일16개의 추가작업 그리고 0개의 파일을 삭제
  1. 8 0
      spider/crawler_author/zhongqingkandian_author.py
  2. 8 0
      spider/crawler_online/zhongqingkandian_related_recommend.py

+ 8 - 0
spider/crawler_author/zhongqingkandian_author.py

@@ -185,6 +185,14 @@ class ZhongQingKanDianAuthor:
         while self.limit_flag:
             try:
                 self.download_cnt = self.db_ops.get_today_videos()
+                if self.download_cnt >= self.rule_dict.get("videos_cnt", {}).get("min", 100):
+                    self.aliyun_log.logging(
+                        code="2010",
+                        message=f"今日已经达到最大量",
+                        data=self.download_cnt
+                    )
+                    self.LocalLog.info(f"当日视频已达到最大爬取量{self.download_cnt}")
+                    return
                 self.LocalLog.info(f"开始用户视频列表的请求和处理流程,今日已爬 {self.download_cnt} 个视频")
                 if not self.zqkd_user_list:
                     self.LocalLog.info("没有用户数据")

+ 8 - 0
spider/crawler_online/zhongqingkandian_related_recommend.py

@@ -180,6 +180,14 @@ class ZhongQingKanDianRelatedRecommend:
         while self.limit_flag:
             try:
                 self.download_cnt = self.db_ops.get_today_videos()
+                if self.download_cnt >= self.rule_dict.get("videos_cnt", {}).get("min", 100):
+                    self.aliyun_log.logging(
+                        code="2010",
+                        message=f"今日已经达到最大量",
+                        data=self.download_cnt
+                    )
+                    self.LocalLog.info(f"当日视频已达到最大爬取量{self.download_cnt}")
+                    return
 
                 self.LocalLog.info(f"开始推荐视频列表的请求和处理流程,今日已爬 {self.download_cnt} 个视频")