feat:修改定时任务日志

ad/01_ad_model_update_everyday.sh

@@ -31,7 +31,7 @@ source /root/anaconda3/bin/activate py37
 while true; do
   python_return_code=$(python ad/ad_utils.py --excute_program check_ad_origin_hive --partition ${today} --hh 10)
   step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
-  elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "$step_end_time")))
+  elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$start_time")))
 
   if [ "$python_return_code" -eq 0 ]; then
     break
@@ -65,11 +65,11 @@ echo "$LOG_PREFIX -- 大数据数据生产校验 -- 大数据数据生产校验
 #idDefaultValue:0.01
 #
 #step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
-#step_elapsed=$(($(date +%s -d "$step_start_time") - $(date +%s -d "$step_end_time")))
+#step_elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$step_start_time")))
 #if [ $? -ne 0 ]; then
 #   msg="Spark原始样本生产任务执行失败"
 #   echo "$LOG_PREFIX -- 原始样本生产 -- $msg: 耗时 $step_elapsed"
-#   elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "$step_end_time")))
+#   elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$start_time")))
 #   /root/anaconda3/bin/python ad/ad_monitor_util.py --level error --msg "$msg" --start "$start_time" --elapsed "$elapsed"
 #   exit 1
 #fi
@@ -90,11 +90,11 @@ echo "$LOG_PREFIX -- 大数据数据生产校验 -- 大数据数据生产校验
 #savePath:${bucketFeatureSavePath}
 #
 #step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
-#step_elapsed=$(($(date +%s -d "$step_start_time") - $(date +%s -d "$step_end_time")))
+#step_elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$step_start_time")))
 #if [ $? -ne 0 ]; then
 #   msg="Spark特征分桶处理任务执行失败"
 #   echo "$LOG_PREFIX -- 特征分桶处理任务 -- $msg: 耗时 $step_elapsed"
-#   elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "$step_end_time")))
+#   elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$start_time")))
 #   /root/anaconda3/bin/python ad/ad_monitor_util.py ${msg}
 #   exit 1
 #fi
@@ -107,11 +107,11 @@ echo "$LOG_PREFIX -- 大数据数据生产校验 -- 大数据数据生产校验
 step_start_time=$(date "+%Y-%m-%d %H:%M:%S")
 $HADOOP fs -text ${bucketFeatureSavePath}/${today_early_1}/* | ${FM_HOME}/bin/fm_train -m ${MODEL_PATH}/${model_name}_${today_early_1}.txt -dim 1,1,8  -im ${LAST_MODEL_HOME}/model_online.txt -core 8
 step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
-step_elapsed=$(($(date +%s -d "$step_start_time") - $(date +%s -d "$step_end_time")))
+step_elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$step_start_time")))
 if [ $? -ne 0 ]; then
    msg "模型训练失败"
    echo "$LOG_PREFIX -- 原始样本生产 -- $msg: 耗时 $step_elapsed"
-   elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "$step_end_time")))
+   elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$start_time")))
    /root/anaconda3/bin/python ad/ad_monitor_util.py --level error --msg "$msg" --start "$start_time" --elapsed "$elapsed"
    exit 1
 fi
@@ -128,11 +128,11 @@ $HADOOP fs -text ${bucketFeatureSavePath}/${today}/* | ${FM_HOME}/bin/fm_predict
 online_auc=`cat ${PREDICT_PATH}/${model_name}_${today}_online.txt | /root/sunmingze/AUC/AUC`
 
 step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
-elapsed=$(($(date +%s -d "step_start_time") - $(date +%s -d "$step_end_time")))
+elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$step_start_time")))
 if [ $? -ne 0 ]; then
    msg="线上模型AUC计算失败"
    echo "$LOG_PREFIX -- 线上模型AUC计算 -- $msg: 耗时 $step_elapsed"
-   elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "$step_end_time")))
+   elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$start_time")))
    /root/anaconda3/bin/python ad/ad_monitor_util.py --level error --msg "$msg" --start "$start_time" --elapsed "$elapsed"
    exit 1
 fi
@@ -144,11 +144,11 @@ $HADOOP fs -text ${bucketFeatureSavePath}/${today}/* | ${FM_HOME}/bin/fm_predict
 new_auc=`cat ${PREDICT_PATH}/${model_name}_${today}_new.txt | /root/sunmingze/AUC/AUC`
 
 step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
-elapsed=$(($(date +%s -d "step_start_time") - $(date +%s -d "$step_end_time")))
+elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$step_start_time")))
 if [ $? -ne 0 ]; then
    msg="新模型AUC计算失败"
    echo "$LOG_PREFIX -- 新模型AUC计算 -- $msg: 耗时 $step_elapsed"
-   elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "$step_end_time")))
+   elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$start_time")))
    /root/anaconda3/bin/python ad/ad_monitor_util.py --level error --msg "$msg" --start "$start_time" --elapsed "$elapsed"
    exit 1
 fi
@@ -160,7 +160,7 @@ auc_diff=$(echo "$online_auc - $new_auc" | bc -l)
 auc_diff_abs=$(echo "sqrt(($auc_diff)^2)" | bc -l)
 
 step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
-step5_elapsed=$(($(date +%s -d "$step5_start_time") - $(date +%s -d "$step_end_time")))
+step5_elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$step5_start_time")))
 # 5.4 如果差值的绝对值小于0.005且新模型的AUC大于0.73, 则更新模型
 if (( $(echo "${online_auc} <= ${new_auc}" | bc -l) )); then
     msg="新模型优于线上模型 \n\t线上模型AUC: ${online_auc} \n\t新模型AUC: ${new_auc}"
@@ -173,7 +173,7 @@ elif (( $(echo "$auc_diff_abs < 0.005" | bc -l) )) && (( $(echo "$new_auc >= 0.7
 else
     msg="新模型与线上模型差值大于等于阈值0.005 \n\t线上模型AUC: ${online_auc} \n\t新模型AUC: ${new_auc} \n\t差值为: $auc_diff_abs"
     echo -e "$LOG_PREFIX -- AUC对比 -- $msg: 耗时 $step5_elapsed"
-    elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "$step_end_time")))
+    elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$start_time")))
     /root/anaconda3/bin/python ad/ad_monitor_util.py --level error --msg "$msg" --start "$start_time" --elapsed "$elapsed"
     exit 1
 fi
@@ -199,12 +199,12 @@ awk -F " " '{
 }' > "$change_txt_path"
 
 step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
-step_elapsed=$(($(date +%s -d "step_start_time") - $(date +%s -d "$step_end_time")))
+step_elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$step_start_time")))
 
 if [ $? -ne 0 ]; then
    msg="新模型文件格式转换失败"
    echo -e "$LOG_PREFIX -- AUC对比 -- $msg: 耗时 $step_elapsed"
-   elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "$step_end_time")))
+   elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$start_time")))
    /root/anaconda3/bin/python ad/ad_monitor_util.py --level error --msg "$msg" --start "$start_time" --elapsed "$elapsed"
    exit 1
 fi
@@ -226,11 +226,11 @@ echo -e "$LOG_PREFIX -- 模型文件格式转换 -- 转换后的路径为 [$chan
 #$HADOOP fs -put ${MODEL_PATH}/${model_name}_${today_early_1}_change.txt ${online_model_path}
 #
 #step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
-#step_elapsed=$(($(date +%s -d "step_start_time") - $(date +%s -d "$step_end_time")))
+#step_elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$step_start_time")))
 #if [ $? -ne 0 ]; then
 #   msg="广告模型文件至OSS失败, OSS模型文件路径: $online_model_path"
 #   echo -e "$LOG_PREFIX -- 模型文件推送至OSS -- $msg: 耗时 $step_elapsed"
-#   elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "$step_end_time")))
+#   elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$start_time")))
 #   /root/anaconda3/bin/python ad/ad_monitor_util.py --level error --msg "$msg" --start "$start_time" --elapsed "$elapsed"
 #   exit 1
 #fi
@@ -245,11 +245,11 @@ echo -e "$LOG_PREFIX -- 模型文件格式转换 -- 转换后的路径为 [$chan
 #cp -f ${MODEL_PATH}/${model_name}_${today_early_1}.txt ${LAST_MODEL_HOME}/model_online.txt
 #
 #step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
-#step_elapsed=$(($(date +%s -d "step_start_time") - $(date +%s -d "$step_end_time")))
+#step_elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$step_start_time")))
 #if [ $? -ne 0 ]; then
 #   msg="模型备份失败"
 #   echo -e "$LOG_PREFIX -- 模型备份 -- $msg: 耗时 $step_elapsed"
-#   elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "$step_end_time")))
+#   elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$start_time")))
 #   /root/anaconda3/bin/python ad/ad_monitor_util.py --level error --msg "$msg" --start "$start_time" --elapsed "$elapsed"
 #   exit 1
 #fi
@@ -260,7 +260,7 @@ echo -e "$LOG_PREFIX -- 模型文件格式转换 -- 转换后的路径为 [$chan
 step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
 msg="广告模型文件更新完成 \n\t \n\t 新模型AUC: $new_auc \n\t 线上模型AUC: $online_auc AUC差值: $auc_diff_abs \n\t 模型上传路径: $online_model_path \n\t"
 echo -e "$LOG_PREFIX -- 模型更新完成 -- $msg: 耗时 $step_elapsed"
-elapsed=$(($(date +%s -d "$start_time") - $(date +%s -d "$step_end_time")))
+elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$start_time")))
 /root/anaconda3/bin/python ad/ad_monitor_util.py --level error --msg "$msg" --start "$start_time" --elapsed "$elapsed"
 
 # 32 16 * * * cd /root/zhangbo/recommend-emr-dataprocess && /bin/sh ./ad/01_ad_model_update_everyday.sh > logs/01_update_eventday$(date +\%Y-\%m-\%d_\%H).log 2>&1