Lengyue преди 2 години
родител
ревизия
e7e92afb5b
променени са 1 файла, в които са добавени 2 реда и са изтрити 0 реда
  1. 2 0
      preparing_data/wenet_clean/compress_tar.py

+ 2 - 0
preparing_data/wenet_clean/compress_tar.py

@@ -30,6 +30,8 @@ def chunked_tarring(rank, file_list, base_folder, output_folder, chunk_size=1024
 
             chunk_count += 1
             total_size = 0
+
+            buffer.close()
             buffer = io.BytesIO()
             tar = tarfile.open(fileobj=buffer, mode="w")