|
@@ -49,12 +49,20 @@ object diff_data_20250319 {
|
|
// 进行 join 操作
|
|
// 进行 join 操作
|
|
val joinedRDD: RDD[(String, (Map[String, String], Map[String, String]))] = rdd1Pairs.join(rdd2Pairs)
|
|
val joinedRDD: RDD[(String, (Map[String, String], Map[String, String]))] = rdd1Pairs.join(rdd2Pairs)
|
|
|
|
|
|
|
|
+ val firstElement = joinedRDD.first()
|
|
|
|
+ firstElement match {
|
|
|
|
+ case (logkey, (map1, map2)) =>
|
|
|
|
+ println(logkey)
|
|
|
|
+ println(map1)
|
|
|
|
+ println(map2)
|
|
|
|
+ }
|
|
|
|
+
|
|
// 比较相同 logkey 对应的 Map 中相同键的 value
|
|
// 比较相同 logkey 对应的 Map 中相同键的 value
|
|
- joinedRDD.foreach { case (logkey, (map1, map2)) =>
|
|
|
|
- println(logkey)
|
|
|
|
- println(map1)
|
|
|
|
- println(map2)
|
|
|
|
- return
|
|
|
|
|
|
+// joinedRDD.foreach { case (logkey, (map1, map2)) =>
|
|
|
|
+// println(logkey)
|
|
|
|
+// println(map1)
|
|
|
|
+// println(map2)
|
|
|
|
+// return
|
|
// map1.foreach { case (key, value1) =>
|
|
// map1.foreach { case (key, value1) =>
|
|
// if (key != "logkey") {
|
|
// if (key != "logkey") {
|
|
// if(value1 == "\\N")
|
|
// if(value1 == "\\N")
|
|
@@ -70,7 +78,7 @@ object diff_data_20250319 {
|
|
// }
|
|
// }
|
|
// }
|
|
// }
|
|
// }
|
|
// }
|
|
- }
|
|
|
|
|
|
+// }
|
|
|
|
|
|
// 检查 rdd1 中存在但 rdd2 中不存在的 logkey
|
|
// 检查 rdd1 中存在但 rdd2 中不存在的 logkey
|
|
// val rdd1Only = rdd1Pairs.subtractByKey(rdd2Pairs)
|
|
// val rdd1Only = rdd1Pairs.subtractByKey(rdd2Pairs)
|