feat:修改飞书推送工具类

ad/01_ad_model_update_everyday.sh

@@ -7,6 +7,7 @@ bucketFeatureSavePath=/dw/recommend/model/33_ad_train_data_v3_auto/
 model_name=model_bkb8_v3
 today="$(date +%Y%m%d)"
 today_early_1="$(date -d '1 days ago' +%Y%m%d)"
+today_early_2="$(date -d '2 days ago' +%Y%m%d)"
 
 LAST_MODEL_HOME=/root/zhaohp/model_online
 MODEL_PATH=/root/zhaohp/recommend-emr-dataprocess/model
@@ -30,9 +31,9 @@ LOG_PREFIX=广告模型自动更新任务
 source /root/anaconda3/bin/activate py37
 while true; do
   python_return_code=$(python ad/ad_utils.py --excute_program check_ad_origin_hive --partition ${today} --hh 10)
+
   step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
   elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$start_time")))
-
   if [ "$python_return_code" -eq 0 ]; then
     break
   fi
@@ -42,7 +43,7 @@ while true; do
   current_minute=$(date +%M)
   if (( current_hour > max_hour || (current_hour == max_hour && current_minute >= max_minute) )); then
     msg="大数据数据生产校验失败, 分区: ${today}10"
-    echo -e "$LOG_PREFIX -- 大数据数据生产校验 -- ${msg}"
+    echo -e "$LOG_PREFIX -- 大数据数据生产校验 -- ${msg}: 耗时 $elapsed"
     /root/anaconda3/bin/python ad/ad_monitor_util.py --level error --msg "$msg" --start "$start_time" --elapsed "$elapsed"
     exit 1
   fi
@@ -106,6 +107,7 @@ echo "$LOG_PREFIX -- 特征分桶处理任务 -- spark特征分桶处理执行
 # 4 模型训练
 step_start_time=$(date "+%Y-%m-%d %H:%M:%S")
 $HADOOP fs -text ${bucketFeatureSavePath}/${today_early_1}/* | ${FM_HOME}/bin/fm_train -m ${MODEL_PATH}/${model_name}_${today_early_1}.txt -dim 1,1,8  -im ${LAST_MODEL_HOME}/model_online.txt -core 8
+
 step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
 step_elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$step_start_time")))
 if [ $? -ne 0 ]; then
@@ -122,13 +124,19 @@ echo "$LOG_PREFIX -- 原始样本生产 -- 模型训练完成: 耗时 $step_elap
 
 # 5 对比AUC
 step5_start_time=$(date "+%Y-%m-%d %H:%M:%S")
+
+# 5.1 用昨天生成的模型，计算昨天一天的AUC
+# $HADOOP fs -text ${bucketFeatureSavePath}/${today_early_1}/* | ${FM_HOME}/bin/fm_predict -m ${MODEL_PATH}/${model_name}_${}.txt -dim 8 -core 8 -out ${PREDICT_PATH}/${model_name}_${today}_online.txt
+
+
+
+# 5.2 计算线上模型的AUC
 step_start_time=$(date "+%Y-%m-%d %H:%M:%S")
-# 5.1 计算线上模型的AUC
 $HADOOP fs -text ${bucketFeatureSavePath}/${today}/* | ${FM_HOME}/bin/fm_predict -m ${LAST_MODEL_HOME}/model_online.txt -dim 8 -core 8 -out ${PREDICT_PATH}/${model_name}_${today}_online.txt
 online_auc=`cat ${PREDICT_PATH}/${model_name}_${today}_online.txt | /root/sunmingze/AUC/AUC`
 
 step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
-elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$step_start_time")))
+step_elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$step_start_time")))
 if [ $? -ne 0 ]; then
    msg="线上模型AUC计算失败"
    echo "$LOG_PREFIX -- 线上模型AUC计算 -- $msg: 耗时 $step_elapsed"
@@ -138,13 +146,13 @@ if [ $? -ne 0 ]; then
 fi
 echo "$LOG_PREFIX -- 线上模型AUC计算 -- 线上模型AUC计算完成: 耗时 $step_elapsed"
 
-# 5.2 计算新模型的AUC
+# 5.3 计算新模型的AUC
 step_start_time=$(date "+%Y-%m-%d %H:%M:%S")
 $HADOOP fs -text ${bucketFeatureSavePath}/${today}/* | ${FM_HOME}/bin/fm_predict -m ${MODEL_PATH}/${model_name}_${today_early_1}.txt -dim 8 -core 8 -out ${PREDICT_PATH}/${model_name}_${today}_new.txt
 new_auc=`cat ${PREDICT_PATH}/${model_name}_${today}_new.txt | /root/sunmingze/AUC/AUC`
 
 step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
-elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$step_start_time")))
+step_elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$step_start_time")))
 if [ $? -ne 0 ]; then
    msg="新模型AUC计算失败"
    echo "$LOG_PREFIX -- 新模型AUC计算 -- $msg: 耗时 $step_elapsed"
@@ -153,15 +161,16 @@ if [ $? -ne 0 ]; then
    exit 1
 fi
 echo "$LOG_PREFIX -- 新模型AUC计算 -- 新模型AUC计算完成: 耗时 $step_elapsed"
+
 echo "AUC比对: 线上模型的AUC: ${online_auc}, 新模型的AUC: ${new_auc}"
 
-# 5.3 计算新模型与线上模型的AUC差值的绝对值
+# 5.4 计算新模型与线上模型的AUC差值的绝对值
 auc_diff=$(echo "$online_auc - $new_auc" | bc -l)
 auc_diff_abs=$(echo "sqrt(($auc_diff)^2)" | bc -l)
 
 step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
 step5_elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$step5_start_time")))
-# 5.4 如果差值的绝对值小于0.005且新模型的AUC大于0.73, 则更新模型
+# 5.5 如果差值的绝对值小于0.005且新模型的AUC大于0.73, 则更新模型
 if (( $(echo "${online_auc} <= ${new_auc}" | bc -l) )); then
     msg="新模型优于线上模型 \n\t线上模型AUC: ${online_auc} \n\t新模型AUC: ${new_auc}"
     echo -e "$LOG_PREFIX -- AUC对比 -- $msg: 耗时 $step5_elapsed"
@@ -200,7 +209,6 @@ awk -F " " '{
 
 step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
 step_elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$step_start_time")))
-
 if [ $? -ne 0 ]; then
    msg="新模型文件格式转换失败"
    echo -e "$LOG_PREFIX -- AUC对比 -- $msg: 耗时 $step_elapsed"
@@ -218,10 +226,8 @@ step_start_time=$(date "+%Y-%m-%d %H:%M:%S")
 online_model_path=${OSS_PATH}/${model_name}.txt
 $HADOOP fs -test -e ${online_model_path}
 if [ $? -eq 0 ]; then
-    echo "数据存在, 先删除。"
+    echo "删除已存在的OSS模型文件"
     $HADOOP fs -rm -r -skipTrash ${online_model_path}
-else
-    echo "数据不存在"
 fi
 $HADOOP fs -put ${MODEL_PATH}/${model_name}_${today_early_1}_change.txt ${online_model_path}
 
@@ -256,11 +262,13 @@ fi
 echo -e "$LOG_PREFIX -- 模型备份 -- 模型备份完成: 耗时 $step_elapsed"
 
 
-
+# 9 任务完成通知
 step_end_time=$(date "+%Y-%m-%d %H:%M:%S")
 msg="\n\t - 广告模型文件更新完成 \n\t - 新模型AUC: $new_auc \n\t - 线上模型AUC: $online_auc  \n\t - AUC差值: $auc_diff_abs \n\t - 模型上传路径: $online_model_path"
 echo -e "$LOG_PREFIX -- 模型更新完成 -- $msg: 耗时 $step_elapsed"
 elapsed=$(($(date +%s -d "$step_end_time") - $(date +%s -d "$start_time")))
 /root/anaconda3/bin/python ad/ad_monitor_util.py --level info --msg "$msg" --start "$start_time" --elapsed "$elapsed"
 
-# 32 16 * * * cd /root/zhangbo/recommend-emr-dataprocess && /bin/sh ./ad/01_ad_model_update_everyday.sh > logs/01_update_eventday$(date +\%Y-\%m-\%d_\%H).log 2>&1
+
+
+# 15 15 * * * cd /root/zhaohp/recommend-emr-dataprocess && /bin/sh ./ad/01_ad_model_update_everyday.sh > logs/01_update_eventday_$(date +\%Y-\%m-\%d_\%H-\%M).log 2>&1