소스 검색

add partition

often 6 달 전
부모
커밋
a1c9dc402b
1개의 변경된 파일2개의 추가작업 그리고 1개의 파일을 삭제
  1. 2 1
      src/main/scala/com/aliyun/odps/spark/examples/makedata_recsys/video_dssm_sampler.scala

+ 2 - 1
src/main/scala/com/aliyun/odps/spark/examples/makedata_recsys/video_dssm_sampler.scala

@@ -309,7 +309,8 @@ object video_dssm_sampler {
       //  .join(broadcast(categoryData), col("vid_right") === categoryData("vid"), "left")
 
       // 保存结果到HDFS
-      result.write
+      val resultWithDt = result.withColumn("dt", lit(s"$dt"))
+      resultWithDt.write
         .mode("overwrite")
         .partitionBy("dt")
         .parquet(s"$outputPath/dt=$dt")