feat:修改删除文件脚本

ad/03_delete_timer_file.sh

@@ -32,51 +32,44 @@ delete_predict_5d_ago() {
     echo "=========== 删除五天前的预测结果文件结束 $(date "+%Y-%m-%d %H:%M:%d") ==========="
 }
 
-# 删除七天之前 HDFS中的原始特征数据
-delete_hdfs_origin_data_7d_ago() {
-    SEVEN_DAYS_AGO=$(date -d "7 days ago" +%Y-%m-%d)
 
+delete_hdfs_path() {
+    if [ "$#" -ne 2 ]; then
+        echo "Usage: delete_path <early> <path>"
+        return 1
+    fi
 
-    $HADOOP fs -ls $origin_data_hdfs_dir | while read line
-    do
-        dir=$(echo $line | awk '{print $8}')
-        modified_date=$(echo $line | awk '{print $6}')
+    early=$1
+    path=$2
 
-        if [[ "${modified_date}" < "${SEVEN_DAYS_AGO}" ]]; then
-            echo "Deleting: ${dir}"
-            $HADOOP fs -rm -r -skipTrash ${dir}
-        fi
+    echo "=========== $(date "+%Y-%m-%d %H:%M:%d") 开始删除目录 ${path} ${early}天前的文件  ==========="
 
-    done
+    EARLY_DAYS_AGO=$(date -d "${early} days ago" +%Y-%m-%d)
 
-}
-
-# 删除七天之前 HDFS中的特征分桶数据
-delete_hdfs_bucket_feature_7d_ago() {
-    SEVEN_DAYS_AGO=$(date -d "7 days ago" +%Y-%m-%d)
-
-
-    $HADOOP fs -ls $bucket_feature_hdfs_dir | while read line
+    $HADOOP fs -ls $path | while read line
     do
         dir=$(echo $line | awk '{print $8}')
         modified_date=$(echo $line | awk '{print $6}')
 
         if [[ "${modified_date}" < "${SEVEN_DAYS_AGO}" ]]; then
             echo "Deleting: ${dir}"
-            $HADOOP fs -rm -r -skipTrash ${dir}
+            # $HADOOP fs -rm -r -skipTrash ${dir}
         fi
 
     done
 
+    echo "=========== $(date "+%Y-%m-%d %H:%M:%d") 删除目录 ${path} ${early}天前的文件结束  ==========="
+
 }
 
+
 main() {
-    # 删除五天前的预测结果文件
-    delete_predict_5d_ago
-    # 删除七天之前的HDFS中的特征原始数据
-    delete_hdfs_origin_data_7d_ago
+    # # 删除五天前的预测结果文件
+    # delete_predict_5d_ago
+    # # 删除七天之前的HDFS中的特征原始数据
+    # delete_hdfs_path 7 $origin_data_hdfs_dir
     # 删除七天之前的HDFS中的特征分桶数据
-    delete_hdfs_bucket_feature_7d_ago
+    delete_hdfs_path 7 $bucket_feature_hdfs_dir
 }