|
|
@@ -81,7 +81,7 @@ def get_infer_reader(input_var, config):
|
|
|
|
|
|
|
|
|
def get_file_list(data_path, config):
|
|
|
- dirs,files = hdfs_client.ls_dir(data_path)
|
|
|
+ dirs,file_list = hdfs_client.ls_dir(data_path)
|
|
|
# 如果配置中指定了分割文件列表
|
|
|
if config.get("runner.split_file_list"):
|
|
|
logger.info("Split file list for worker {}".format(dist.get_rank()))
|
|
|
@@ -257,7 +257,6 @@ class QueueDatset(object):
|
|
|
fs_ugi=configs["hadoop.job.ugi"] # 设置 HDFS 用户组信息
|
|
|
)
|
|
|
print("dataset get_reader thread_num:", self.thread_num)
|
|
|
- hdfs_client
|
|
|
|
|
|
dataset.set_filelist(self.file_list)
|
|
|
return dataset
|
丁云鹏