소스 검색

增加size值

xueyiming 2 달 전
부모
커밋
3129360727
1개의 변경된 파일4개의 추가작업 그리고 0개의 파일을 삭제
  1. 4 0
      src/main/scala/com/aliyun/odps/spark/examples/makedata_ad/v20240718/diff_data_20240718.scala

+ 4 - 0
src/main/scala/com/aliyun/odps/spark/examples/makedata_ad/v20240718/diff_data_20240718.scala

@@ -49,6 +49,10 @@ object diff_data_20240718 {
 
     var result: List[String] = List.empty
 
+    result = result :+ "odpsData size =" + odpsData.count();
+
+    result = result :+ "hdfsData size =" + hdfsData.count();
+
     // 以 logkey 为键进行转换
     val rdd1Pairs: RDD[(String, Map[String, String])] = hdfsData.map(map => (map("logkey"), map))
     val rdd2Pairs: RDD[(String, Map[String, String])] = odpsData.map(map => (map("logkey"), map))