소스 검색

read hdfs

丁云鹏 5 달 전
부모
커밋
d3376655e8
1개의 변경된 파일2개의 추가작업 그리고 0개의 파일을 삭제
  1. 2 0
      recommend-model-produce/src/main/python/models/dssm/config_ps_hdfs.yaml

+ 2 - 0
recommend-model-produce/src/main/python/models/dssm/config_ps_hdfs.yaml

@@ -17,12 +17,14 @@ runner:
   train_reader_path: "bq_reader_train"  # importlib format
   train_batch_size: 8
   model_save_path: "output_model_dssm"
+  split_file_list: true
 
   reader_type: "QueueDataset"  # DataLoader / QueueDataset / RecDataset
   pipe_command: "python bq_reader_train_ps.py"
   thread_num: 1
   sync_mode: "async"
 
+
   use_gpu: False
   epochs: 1
   print_interval: 1