01_ad_model_update.sh 1.2 KB

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758
  1. #!/bin/sh
  2. set -x
  3. # source /root/anaconda3/bin/activate py37
  4. source ./00_common.sh
  5. export SPARK_HOME=/opt/apps/SPARK2/spark-2.4.8-hadoop3.2-1.0.8
  6. export PATH=$SPARK_HOME/bin:$PATH
  7. export HADOOP_CONF_DIR=/etc/taihao-apps/hadoop-conf
  8. export JAVA_HOME=/usr/lib/jvm/java-1.8.0
  9. # 全局常量
  10. HADOOP=/opt/apps/HADOOP-COMMON/hadoop-common-current/bin/hadoop
  11. TRAIN_PATH=/dw/recommend/model/31_ad_sample_data_v4
  12. BUCKET_FEATURE_PATH=/dw/recommend/model/33_ad_train_data_v4
  13. TABLE=alg_recsys_ad_sample_all
  14. today_early_1="$(date -d '1 days ago' +%Y%m%d)"
  15. train_dates=()
  16. init() {
  17. local count=1
  18. current_handle_date="$(date -d '2 days ago' +%Y%m%d)"
  19. # 循环获取前 n 天的非节日日期
  20. while [[ $count -lt 8 ]]; do
  21. # 获取当前日期的 MM-DD 部分
  22. date_key=$(date -d "$current_handle_date" +%Y%m%d)
  23. echo $date_key
  24. # 判断是否是节日
  25. if [ $(is_holidays $date_key) -ge 0 ]; then
  26. # 如果不是节日,添加到数组中
  27. train_dates+=("$date_key")
  28. # 计数器加 1
  29. count=$((count + 1))
  30. fi
  31. # 日期递减 1 天
  32. current_handle_date=$(date -d "$current_handle_date -1 day" +%Y%m%d)
  33. done
  34. echo ${train_dates}
  35. }
  36. # 主方法
  37. main() {
  38. init
  39. }
  40. main