Procházet zdrojové kódy

新增 dont_chunk模块

luojunhui před 1 týdnem
rodič
revize
49ead95765
1 změnil soubory, kde provedl 2 přidání a 1 odebrání
  1. 2 1
      applications/async_task/chunk_task.py

+ 2 - 1
applications/async_task/chunk_task.py

@@ -1,5 +1,6 @@
 import asyncio
 from typing import List
+from tqdm import tqdm
 
 from applications.api import get_basic_embedding
 from applications.utils.async_utils import run_tasks_with_asyncio_task_group
@@ -233,7 +234,7 @@ class ChunkEmbeddingTask(TopicAwarePackerV2):
                 return
 
             # dev
-            for chunk in chunks:
+            for chunk in tqdm(chunks):
                 await self.save_each_chunk(chunk)
 
             # await run_tasks_with_asyncio_task_group(