浏览代码

read hdfs

丁云鹏 5 月之前
父节点
当前提交
26bc8aa91e
共有 1 个文件被更改,包括 1 次插入1 次删除
  1. 1 1
      recommend-model-produce/src/main/python/tools/utils/static_ps/reader_helper_hdfs.py

+ 1 - 1
recommend-model-produce/src/main/python/tools/utils/static_ps/reader_helper_hdfs.py

@@ -86,7 +86,7 @@ def get_file_list(data_path, config):
         file_list = get_file_shard(file_list)
     logger.info("File list: {}".format(file_list))
 
-    base_url = f'hdfs://{configs["fs.default.name"]}'
+    base_url = f'{configs["fs.default.name"]}'
     full_paths = [base_url + file for file in file_list]
 
     return full_paths