فهرست منبع

feat:添加分析任务

zhaohaipeng 10 ماه پیش
والد
کامیت
8ffc239e13
1فایلهای تغییر یافته به همراه6 افزوده شده و 3 حذف شده
  1. 6 3
      feature_spark_monitor.py

+ 6 - 3
feature_spark_monitor.py

@@ -61,8 +61,7 @@ def handle_table(table_name: str, spark_task_list: List[Dict]) -> (bool, str):
             [date_util.str_cover_date(item['finishedTime']) for item in filtered_data]
         )
         print(f"表: {table_name}, 最后一次同步完成时间为: {latest_started_time}")
-        now = datetime.now()
-        time_difference = now - latest_started_time
+        time_difference = datetime.now() - latest_started_time
         if time_difference > timedelta(minutes=140):
             return True, latest_started_time
         else:
@@ -127,11 +126,15 @@ def _main():
 
     ]
 
+    if len(result) == 0:
+        print("未获取已完成的任务,跳过")
+        return
+
     early_started_time = min(
         [date_util.str_cover_date(item['startedTime']) for item in result]
     )
 
-    if (early_started_time - datetime.now()) < timedelta(hours=3):
+    if (datetime.now() - early_started_time) < timedelta(hours=3):
         print("任务最开始时间小于六个小时,疑似清理过任务。跳过")
         return