feat:添加定时任务日志

ad/01_ad_model_update_everyday.sh

@@ -30,7 +30,8 @@ LOG_PREFIX=广告模型自动更新任务
 source /root/anaconda3/bin/activate py37
 while true; do
   python_return_code=$(python ad/ad_utils.py --excute_program check_ad_origin_hive --partition ${today} --hh 10)
-  elapsed=$(($(date +%s -d "${start_time}") - $(date +%s -d "+%Y-%m-%d %H:%M:%S")))
+  step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
+  elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "$step_end_time")))
 
   if [ "$python_return_code" -eq 0 ]; then
     break
@@ -63,11 +64,12 @@ echo "$LOG_PREFIX -- 大数据数据生产校验 -- 大数据数据生产校验
 #table:alg_recsys_ad_sample_all filterHours:00,01,02,03,04,05,06,07 \
 #idDefaultValue:0.01
 #
-#step_elapsed=$(($(date +%s -d "$step_start_time") - $(date +%s -d "+%Y-%m-%d %H:%M:%S")))
+#step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
+#step_elapsed=$(($(date +%s -d "$step_start_time") - $(date +%s -d "$step_end_time")))
 #if [ $? -ne 0 ]; then
 #   msg="Spark原始样本生产任务执行失败"
 #   echo "$LOG_PREFIX -- 原始样本生产 -- $msg: 耗时 $step_elapsed"
-#   elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "+%Y-%m-%d %H:%M:%S")))
+#   elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "$step_end_time")))
 #   /root/anaconda3/bin/python ad/ad_monitor_util.py --level error --msg "$msg" --start "$start_time" --elapsed "$elapsed"
 #   exit 1
 #fi
@@ -87,11 +89,12 @@ echo "$LOG_PREFIX -- 大数据数据生产校验 -- 大数据数据生产校验
 #readPath:${originDataSavePath} \
 #savePath:${bucketFeatureSavePath}
 #
-#step_elapsed=$(($(date +%s -d "$step_start_time") - $(date +%s -d "+%Y-%m-%d %H:%M:%S")))
+#step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
+#step_elapsed=$(($(date +%s -d "$step_start_time") - $(date +%s -d "$step_end_time")))
 #if [ $? -ne 0 ]; then
 #   msg="Spark特征分桶处理任务执行失败"
 #   echo "$LOG_PREFIX -- 特征分桶处理任务 -- $msg: 耗时 $step_elapsed"
-#   elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "+%Y-%m-%d %H:%M:%S")))
+#   elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "$step_end_time")))
 #   /root/anaconda3/bin/python ad/ad_monitor_util.py ${msg}
 #   exit 1
 #fi
@@ -103,11 +106,12 @@ echo "$LOG_PREFIX -- 大数据数据生产校验 -- 大数据数据生产校验
 # 4 模型训练
 step_start_time=$(date "+%Y-%m-%d %H:%M:%S")
 $HADOOP fs -text ${bucketFeatureSavePath}/${today_early_1}/* | ${FM_HOME}/bin/fm_train -m ${MODEL_PATH}/${model_name}_${today_early_1}.txt -dim 1,1,8  -im ${LAST_MODEL_HOME}/model_online.txt -core 8
-step_elapsed=$(($(date +%s -d "$step_start_time") - $(date +%s -d "+%Y-%m-%d %H:%M:%S")))
+step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
+step_elapsed=$(($(date +%s -d "$step_start_time") - $(date +%s -d "$step_end_time")))
 if [ $? -ne 0 ]; then
    msg "模型训练失败"
    echo "$LOG_PREFIX -- 原始样本生产 -- $msg: 耗时 $step_elapsed"
-   elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "+%Y-%m-%d %H:%M:%S")))
+   elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "$step_end_time")))
    /root/anaconda3/bin/python ad/ad_monitor_util.py --level error --msg "$msg" --start "$start_time" --elapsed "$elapsed"
    exit 1
 fi
@@ -117,17 +121,18 @@ echo "$LOG_PREFIX -- 原始样本生产 -- 模型训练完成: 耗时 $step_elap
 
 
 # 5 对比AUC
-$HADOOP fs -text ${bucketFeatureSavePath}/${today}/* | ${FM_HOME}/bin/fm_predict -m ${LAST_MODEL_HOME}/model_online.txt -dim 8 -core 8 -out ${PREDICT_PATH}/${model_name}_${today}_online.txt
-$HADOOP fs -text ${bucketFeatureSavePath}/${today}/* | ${FM_HOME}/bin/fm_predict -m ${MODEL_PATH}/${model_name}_${today_early_1}.txt -dim 8 -core 8 -out ${PREDICT_PATH}/${model_name}_${today}_new.txt
-# 5.1 计算线上模型的AUC
 step5_start_time=$(date "+%Y-%m-%d %H:%M:%S")
 step_start_time=$(date "+%Y-%m-%d %H:%M:%S")
+# 5.1 计算线上模型的AUC
+$HADOOP fs -text ${bucketFeatureSavePath}/${today}/* | ${FM_HOME}/bin/fm_predict -m ${LAST_MODEL_HOME}/model_online.txt -dim 8 -core 8 -out ${PREDICT_PATH}/${model_name}_${today}_online.txt
 online_auc=`cat ${PREDICT_PATH}/${model_name}_${today}_online.txt | /root/sunmingze/AUC/AUC`
-elapsed=$(($(date +%s -d "step_start_time") - $(date +%s -d "+%Y-%m-%d %H:%M:%S")))
+
+step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
+elapsed=$(($(date +%s -d "step_start_time") - $(date +%s -d "$step_end_time")))
 if [ $? -ne 0 ]; then
    msg="线上模型AUC计算失败"
    echo "$LOG_PREFIX -- 线上模型AUC计算 -- $msg: 耗时 $step_elapsed"
-   elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "+%Y-%m-%d %H:%M:%S")))
+   elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "$step_end_time")))
    /root/anaconda3/bin/python ad/ad_monitor_util.py --level error --msg "$msg" --start "$start_time" --elapsed "$elapsed"
    exit 1
 fi
@@ -135,12 +140,15 @@ echo "$LOG_PREFIX -- 线上模型AUC计算 -- 线上模型AUC计算完成: 耗
 
 # 5.2 计算新模型的AUC
 step_start_time=$(date "+%Y-%m-%d %H:%M:%S")
+$HADOOP fs -text ${bucketFeatureSavePath}/${today}/* | ${FM_HOME}/bin/fm_predict -m ${MODEL_PATH}/${model_name}_${today_early_1}.txt -dim 8 -core 8 -out ${PREDICT_PATH}/${model_name}_${today}_new.txt
 new_auc=`cat ${PREDICT_PATH}/${model_name}_${today}_new.txt | /root/sunmingze/AUC/AUC`
-elapsed=$(($(date +%s -d "step_start_time") - $(date +%s -d "+%Y-%m-%d %H:%M:%S")))
+
+step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
+elapsed=$(($(date +%s -d "step_start_time") - $(date +%s -d "$step_end_time")))
 if [ $? -ne 0 ]; then
    msg="新模型AUC计算失败"
    echo "$LOG_PREFIX -- 新模型AUC计算 -- $msg: 耗时 $step_elapsed"
-   elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "+%Y-%m-%d %H:%M:%S")))
+   elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "$step_end_time")))
    /root/anaconda3/bin/python ad/ad_monitor_util.py --level error --msg "$msg" --start "$start_time" --elapsed "$elapsed"
    exit 1
 fi
@@ -151,7 +159,8 @@ echo "AUC比对: 线上模型的AUC: ${online_auc}, 新模型的AUC: ${new_auc}"
 auc_diff=$(echo "$online_auc - $new_auc" | bc -l)
 auc_diff_abs=$(echo "sqrt(($auc_diff)^2)" | bc -l)
 
-step5_elapsed=$(($(date +%s -d "$step5_start_time") - $(date +%s -d "+%Y-%m-%d %H:%M:%S")))
+step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
+step5_elapsed=$(($(date +%s -d "$step5_start_time") - $(date +%s -d "$step_end_time")))
 # 5.4 如果差值的绝对值小于0.005且新模型的AUC大于0.73, 则更新模型
 if (( $(echo "${online_auc} <= ${new_auc}" | bc -l) )); then
     msg="新模型优于线上模型 \n\t线上模型AUC: ${online_auc} \n\t新模型AUC: ${new_auc}"
@@ -164,7 +173,7 @@ elif (( $(echo "$auc_diff_abs < 0.005" | bc -l) )) && (( $(echo "$new_auc >= 0.7
 else
     msg="新模型与线上模型差值大于等于阈值0.005 \n\t线上模型AUC: ${online_auc} \n\t新模型AUC: ${new_auc} \n\t差值为: $auc_diff_abs"
     echo -e "$LOG_PREFIX -- AUC对比 -- $msg: 耗时 $step5_elapsed"
-    elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "+%Y-%m-%d %H:%M:%S")))
+    elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "$step_end_time")))
     /root/anaconda3/bin/python ad/ad_monitor_util.py --level error --msg "$msg" --start "$start_time" --elapsed "$elapsed"
     exit 1
 fi
@@ -188,12 +197,14 @@ awk -F " " '{
         print line
     }
 }' > "$change_txt_path"
-step_elapsed=$(($(date +%s -d "step_start_time") - $(date +%s -d "+%Y-%m-%d %H:%M:%S")))
+
+step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
+step_elapsed=$(($(date +%s -d "step_start_time") - $(date +%s -d "$step_end_time")))
 
 if [ $? -ne 0 ]; then
    msg="新模型文件格式转换失败"
    echo -e "$LOG_PREFIX -- AUC对比 -- $msg: 耗时 $step_elapsed"
-   elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "+%Y-%m-%d %H:%M:%S")))
+   elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "$step_end_time")))
    /root/anaconda3/bin/python ad/ad_monitor_util.py --level error --msg "$msg" --start "$start_time" --elapsed "$elapsed"
    exit 1
 fi
@@ -213,28 +224,32 @@ echo -e "$LOG_PREFIX -- 模型文件格式转换 -- 转换后的路径为 [$chan
 #    echo "数据不存在"
 #fi
 #$HADOOP fs -put ${MODEL_PATH}/${model_name}_${today_early_1}_change.txt ${online_model_path}
-#step_elapsed=$(($(date +%s -d "step_start_time") - $(date +%s -d "+%Y-%m-%d %H:%M:%S")))
+#
+#step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
+#step_elapsed=$(($(date +%s -d "step_start_time") - $(date +%s -d "$step_end_time")))
 #if [ $? -ne 0 ]; then
 #   msg="广告模型文件至OSS失败, OSS模型文件路径: $online_model_path"
 #   echo -e "$LOG_PREFIX -- 模型文件推送至OSS -- $msg: 耗时 $step_elapsed"
-#   elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "+%Y-%m-%d %H:%M:%S")))
+#   elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "$step_end_time")))
 #   /root/anaconda3/bin/python ad/ad_monitor_util.py --level error --msg "$msg" --start "$start_time" --elapsed "$elapsed"
 #   exit 1
 #fi
 #echo -e "$LOG_PREFIX -- 模型文件推送至OSS -- 广告模型文件至OSS成功, OSS模型文件路径 $online_model_path: 耗时 $step_elapsed"
-
-
-
-
+#
+#
+#
+#
 ## 8 本地保存最新的线上使用的模型，用于下一次的AUC验证
 #step_start_time=$(date "+%Y-%m-%d %H:%M:%S")
 #cp -f ${LAST_MODEL_HOME}/model_online.txt ${LAST_MODEL_HOME}/model_online_$(date +\%Y\%m\%d).txt
 #cp -f ${MODEL_PATH}/${model_name}_${today_early_1}.txt ${LAST_MODEL_HOME}/model_online.txt
-#step_elapsed=$(($(date +%s -d "step_start_time") - $(date +%s -d "+%Y-%m-%d %H:%M:%S")))
+#
+#step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
+#step_elapsed=$(($(date +%s -d "step_start_time") - $(date +%s -d "$step_end_time")))
 #if [ $? -ne 0 ]; then
 #   msg="模型备份失败"
 #   echo -e "$LOG_PREFIX -- 模型备份 -- $msg: 耗时 $step_elapsed"
-#   elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "+%Y-%m-%d %H:%M:%S")))
+#   elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "$step_end_time")))
 #   /root/anaconda3/bin/python ad/ad_monitor_util.py --level error --msg "$msg" --start "$start_time" --elapsed "$elapsed"
 #   exit 1
 #fi
@@ -242,10 +257,10 @@ echo -e "$LOG_PREFIX -- 模型文件格式转换 -- 转换后的路径为 [$chan
 
 
 
-
+step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
 msg="广告模型文件更新完成 \n\t \n\t 新模型AUC: $new_auc \n\t 线上模型AUC: $online_auc AUC差值: $auc_diff_abs \n\t 模型上传路径: $online_model_path \n\t"
 echo -e "$LOG_PREFIX -- 模型更新完成 -- $msg: 耗时 $step_elapsed"
-elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "+%Y-%m-%d %H:%M:%S")))
+elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "$step_end_time")))
 /root/anaconda3/bin/python ad/ad_monitor_util.py --level error --msg "$msg" --start "$start_time" --elapsed "$elapsed"
 
 # 32 16 * * * cd /root/zhangbo/recommend-emr-dataprocess && /bin/sh ./ad/01_ad_model_update_everyday.sh > logs/01_update_eventday$(date +\%Y-\%m-\%d_\%H).log 2>&1