浏览代码

read hdfs

丁云鹏 5 月之前
父节点
当前提交
de7b3d029d
共有 1 个文件被更改,包括 1 次插入2 次删除
  1. 1 2
      recommend-model-produce/src/main/python/tools/utils/static_ps/reader_helper_hdfs.py

+ 1 - 2
recommend-model-produce/src/main/python/tools/utils/static_ps/reader_helper_hdfs.py

@@ -232,8 +232,7 @@ class QueueDatset(object):
             pipe_command=self.pipe_command,
             batch_size=self.batch_size,
             thread_num=self.thread_num,
-            fs_name=configs["fs.default.name"],  # 设置 HDFS 名称
-            fs_ugi=configs["hadoop.job.ugi"]  # 设置 HDFS 用户组信息
+            download_cmd=""
             )
         print("dataset get_reader thread_num:", self.thread_num)