调试

data_main.py

@@ -15,48 +15,45 @@ def kuaishou_start(user_data):
     print(f"执行快手数据抓取{user_data}")
     kuaishouAuthor.get_kuaishou_videoList(user_data)
 
-data = Material.get_all_user("douyin")
-douyin_start(data[5])
-data = Material.get_all_user("kuaishou")
-kuaishou_start(data[5])
-# # 定义定时任务
-# def douyin_task():
-#     data = Material.get_all_user("douyin")
-#     # 创建一个线程池
-#     with concurrent.futures.ThreadPoolExecutor() as executor:
-#         futures = [executor.submit(douyin_start, user_data) for user_data in data]
-#         # 等待所有任务执行完成
-#         for future in concurrent.futures.as_completed(futures):
-#             # 获取每个任务的执行结果
-#             result = future.result()
-#             print("处理结果:", result)
-#     print("抖音数据抓取定时任务执行完成")
-#
-#
-# # 定义定时任务
-# def kuanshou_task():
-#     data = Material.get_all_user("kuaishou")
-#     # 创建一个线程池
-#     with concurrent.futures.ThreadPoolExecutor() as executor:
-#         futures = [executor.submit(kuaishou_start, user_data) for user_data in data]
-#         # 等待所有任务执行完成
-#         for future in concurrent.futures.as_completed(futures):
-#             # 获取每个任务的执行结果
-#             result = future.result()
-#             print("处理结果:", result)
-#     print("快手数据抓取定时任务执行完成.")
-#
-#
-# # schedule.every(2).minutes.do(douyin_task)
-# #
-# # schedule.every(2).minutes.do(kuanshou_task)
-# schedule.every(8).hours.do(douyin_task)
-#
-# schedule.every(8).hours.do(kuanshou_task)
+
+# 定义定时任务
+def douyin_task():
+    data = Material.get_all_user("douyin")
+    # 创建一个线程池
+    with concurrent.futures.ThreadPoolExecutor() as executor:
+        futures = [executor.submit(douyin_start, user_data) for user_data in data]
+        # 等待所有任务执行完成
+        for future in concurrent.futures.as_completed(futures):
+            # 获取每个任务的执行结果
+            result = future.result()
+            print("处理结果:", result)
+    print("抖音数据抓取定时任务执行完成")
+
+
+# 定义定时任务
+def kuanshou_task():
+    data = Material.get_all_user("kuaishou")
+    # 创建一个线程池
+    with concurrent.futures.ThreadPoolExecutor() as executor:
+        futures = [executor.submit(kuaishou_start, user_data) for user_data in data]
+        # 等待所有任务执行完成
+        for future in concurrent.futures.as_completed(futures):
+            # 获取每个任务的执行结果
+            result = future.result()
+            print("处理结果:", result)
+    print("快手数据抓取定时任务执行完成.")
+
+
+# schedule.every(2).minutes.do(douyin_task)
 #
-# # 持续运行，直到手动终止
-# while True:
-#     schedule.run_pending()
-#     time.sleep(1)
+# schedule.every(2).minutes.do(kuanshou_task)
+schedule.every(8).hours.do(douyin_task)
+
+schedule.every(8).hours.do(kuanshou_task)
+
+# 持续运行，直到手动终止
+while True:
+    schedule.run_pending()
+    time.sleep(1)
 
 

extract_data/douyin/douyin_author.py

@@ -83,7 +83,7 @@ class douyinAuthor():
                     if next_cursor == None:
                         break
                     if count > 5:
-                        break
+                        continue
                     time.sleep(random.randint(5, 10))
 
                     url = 'https://www.douyin.com/aweme/v1/web/aweme/post/'