소스 검색

delete hdfs

zhangbo 1 년 전
부모
커밋
b5cf632517
1개의 변경된 파일31개의 추가작업 그리고 0개의 파일을 삭제
  1. 31 0
      zhangbo/50_delete_hdfs.sh

+ 31 - 0
zhangbo/50_delete_hdfs.sh

@@ -0,0 +1,31 @@
+#!/bin/sh
+
+DATE="$(date -d '6 days ago' +%Y%m%d)"
+HADOOP="/opt/apps/HADOOP-COMMON/hadoop-common-current/bin/hadoop"
+
+path="/dw/recommend/model/feature/user/dt=${DATE}"
+$HADOOP fs -test -e ${path}
+if [ $? -eq 0 ]; then
+    echo "${path} 数据存在, 删除。"
+    $HADOOP fs -rm -r -skipTrash ${path}
+else
+    echo "${path} 数据不存在"
+fi
+
+path="/dw/recommend/model/feature/video/dt=${DATE}"
+$HADOOP fs -test -e ${path}
+if [ $? -eq 0 ]; then
+    echo "${path} 数据存在, 删除。"
+    $HADOOP fs -rm -r -skipTrash ${path}
+else
+    echo "${path} 数据不存在"
+fi
+
+path="/dw/recommend/model/00_sample_data/dt=${DATE}"
+$HADOOP fs -test -e ${path}
+if [ $? -eq 0 ]; then
+    echo "${path} 数据存在, 删除。"
+    $HADOOP fs -rm -r -skipTrash ${path}
+else
+    echo "${path} 数据不存在"
+fi