Selaa lähdekoodia

优先抓未抓过的账号

luojunhui 7 kuukautta sitten
vanhempi
commit
a022a4020b
1 muutettua tiedostoa jossa 1 lisäystä ja 0 poistoa
  1. 1 0
      coldStartTasks/crawler/weixin_video_crawler.py

+ 1 - 0
coldStartTasks/crawler/weixin_video_crawler.py

@@ -159,6 +159,7 @@ class WeixinVideoCrawler(object):
                     url_unique = functions.generateGzhId(article_url)
                     # 判断该视频链接是否下载,若已经下载则直接跳过
                     if self.is_downloaded(url_unique):
+                        print("url exists")
                         continue
 
                     title = article.get("Title", None)