瀏覽代碼

更新 pipeline.py 里面的 process_item代码

罗俊辉 1 年之前
父節點
當前提交
4df1a5b67f
共有 1 個文件被更改,包括 26 次插入0 次删除
  1. 26 0
      common/pipeline.py

+ 26 - 0
common/pipeline.py

@@ -117,3 +117,29 @@ class PiaoQuanPipeline:
                 message="重复的视频",
                 data=self.item
             )
+            return False
+        return True
+
+    def process_item(self):
+        if not self.publish_time_flag():
+            # 记录相关日志
+            return False
+        if not self.title_flag():
+            # 记录相关日志
+            return False
+        if not self.repeat_video():
+            # 记录相关日志
+            return False
+        if not self.download_rule_flag():
+            # 记录相关日志
+            return False
+        AliyunLogger.logging(
+            code="2000",
+            platform=self.platform,
+            mode=self.mode,
+            env=self.env,
+            data=self.item,
+            message="该视频符合抓取条件,准备发往 ETL"
+        )
+        return True
+