소스 검색

dssm过滤掉无品类的item

zhangbo 4 달 전
부모
커밋
61a28dab25
1개의 변경된 파일1개의 추가작업 그리고 1개의 파일을 삭제
  1. 1 1
      src/main/scala/com/aliyun/odps/spark/examples/makedata_dssm/makedata_i2i_06_itemPred_20241206.scala

+ 1 - 1
src/main/scala/com/aliyun/odps/spark/examples/makedata_dssm/makedata_i2i_06_itemPred_20241206.scala

@@ -132,7 +132,7 @@ object makedata_i2i_06_itemPred_20241206 {
         if (ifFilterCate){
           val cate1 = JSON.parseObject(feature).getOrDefault("category1", "无").toString
           val cate2 = JSON.parseObject(feature).getOrDefault("category2_1", "无").toString
-          !cate1.equals("无") || !cate2.equals("无")
+          !Set("无", "", "unknown").contains(cate1) || !Set("无", "", "unknown").contains(cate2)
         }else{
           true
         }