ソースを参照

Close buffer safely

Lengyue 2 年 前
コミット
e7e92afb5b
1 ファイル変更2 行追加0 行削除
  1. 2 0
      preparing_data/wenet_clean/compress_tar.py

+ 2 - 0
preparing_data/wenet_clean/compress_tar.py

@@ -30,6 +30,8 @@ def chunked_tarring(rank, file_list, base_folder, output_folder, chunk_size=1024
 
             chunk_count += 1
             total_size = 0
+
+            buffer.close()
             buffer = io.BytesIO()
             tar = tarfile.open(fileobj=buffer, mode="w")