Explorar o código

feat:修改删除文件脚本

zhaohaipeng hai 9 meses
pai
achega
8a22804095
Modificáronse 1 ficheiros con 7 adicións e 1 borrados
  1. 7 1
      ad/03_delete_timer_file.sh

+ 7 - 1
ad/03_delete_timer_file.sh

@@ -39,9 +39,15 @@ delete_hdfs_origin_data_5d_ago() {
     FIVE_DAYS_AGO=$(date -d "5 days ago" +%s)
 
 
-    $HADOOP fs -ls $HDFS_DIR | grep '^d' | awk '{print $6, $8}' | while read line
+    $HADOOP fs -ls $origin_data_hdfs_dir | while read line
     do
         echo "${line}"
+        dir=$(echo $line | awk '{print $8}')
+        modified_date=$(echo $line | awk '{print $6}')
+
+        echo "dir=${dir}"
+        echo "modified_date=${modified_date}"
+
     done
 
 }