|
@@ -34,7 +34,7 @@ delete_predict_5d_ago() {
|
|
|
|
|
|
# 删除七天之前 HDFS中的原始特征数据
|
|
|
delete_hdfs_origin_data_7d_ago() {
|
|
|
- FIVE_DAYS_AGO=$(date -d "7 days ago" +%Y-%m-%d)
|
|
|
+ SEVEN_DAYS_AGO=$(date -d "7 days ago" +%Y-%m-%d)
|
|
|
|
|
|
|
|
|
$HADOOP fs -ls $origin_data_hdfs_dir | while read line
|
|
@@ -42,7 +42,7 @@ delete_hdfs_origin_data_7d_ago() {
|
|
|
dir=$(echo $line | awk '{print $8}')
|
|
|
modified_date=$(echo $line | awk '{print $6}')
|
|
|
|
|
|
- if [[ "${modified_date}" < "${FIVE_DAYS_AGO}" ]]; then
|
|
|
+ if [[ "${modified_date}" < "${SEVEN_DAYS_AGO}" ]]; then
|
|
|
echo "Deleting: ${dir}"
|
|
|
$HADOOP fs -rm -r -skipTrash ${dir}
|
|
|
fi
|
|
@@ -53,7 +53,7 @@ delete_hdfs_origin_data_7d_ago() {
|
|
|
|
|
|
# 删除七天之前 HDFS中的特征分桶数据
|
|
|
delete_hdfs_bucket_feature_7d_ago() {
|
|
|
- FIVE_DAYS_AGO=$(date -d "7 days ago" +%Y-%m-%d)
|
|
|
+ SEVEN_DAYS_AGO=$(date -d "7 days ago" +%Y-%m-%d)
|
|
|
|
|
|
|
|
|
$HADOOP fs -ls $bucket_feature_hdfs_dir | while read line
|
|
@@ -61,7 +61,7 @@ delete_hdfs_bucket_feature_7d_ago() {
|
|
|
dir=$(echo $line | awk '{print $8}')
|
|
|
modified_date=$(echo $line | awk '{print $6}')
|
|
|
|
|
|
- if [[ "${modified_date}" < "${FIVE_DAYS_AGO}" ]]; then
|
|
|
+ if [[ "${modified_date}" < "${SEVEN_DAYS_AGO}" ]]; then
|
|
|
echo "Deleting: ${dir}"
|
|
|
$HADOOP fs -rm -r -skipTrash ${dir}
|
|
|
fi
|