소스 검색

Close buffer safely

Lengyue 2 년 전
부모
커밋
e7e92afb5b
1개의 변경된 파일2개의 추가작업 그리고 0개의 파일을 삭제
  1. 2 0
      preparing_data/wenet_clean/compress_tar.py

+ 2 - 0
preparing_data/wenet_clean/compress_tar.py

@@ -30,6 +30,8 @@ def chunked_tarring(rank, file_list, base_folder, output_folder, chunk_size=1024
 
             chunk_count += 1
             total_size = 0
+
+            buffer.close()
             buffer = io.BytesIO()
             tar = tarfile.open(fileobj=buffer, mode="w")