Explorar o código

Close buffer safely

Lengyue %!s(int64=2) %!d(string=hai) anos
pai
achega
e7e92afb5b
Modificáronse 1 ficheiros con 2 adicións e 0 borrados
  1. 2 0
      preparing_data/wenet_clean/compress_tar.py

+ 2 - 0
preparing_data/wenet_clean/compress_tar.py

@@ -30,6 +30,8 @@ def chunked_tarring(rank, file_list, base_folder, output_folder, chunk_size=1024
 
             chunk_count += 1
             total_size = 0
+
+            buffer.close()
             buffer = io.BytesIO()
             tar = tarfile.open(fileobj=buffer, mode="w")