zhangbo 1 년 전
부모
커밋
8068061577
1개의 변경된 파일4개의 추가작업 그리고 1개의 파일을 삭제
  1. 4 1
      src/main/scala/com/aliyun/odps/spark/examples/makedata/makedata_02_writeredis.scala

+ 4 - 1
src/main/scala/com/aliyun/odps/spark/examples/makedata/makedata_02_writeredis.scala

@@ -80,7 +80,10 @@ object makedata_02_writeredis {
         redisFormat.iterator
       })
       if (savePathUser.nonEmpty && savePathUser.startsWith("/dw/recommend/model/")) {
-        val savePathPart = savePathUser + "/user/" + partition + "_" + userSampleIDs
+        var savePathPart = savePathUser + "/user/" + partition
+        if (userSampleIDs.nonEmpty){
+          savePathPart = savePathPart + "_" + userSampleIDs
+        }
         MyHdfsUtils.delete_hdfs_path(savePathPart)
         userDataTakeRddRun.map(r => r._1 + "\t" + r._2).saveAsTextFile(savePathPart, classOf[GzipCodec])
       }