Преглед на файлове

性能优化,优化计算 token 的 cpu 开销

luojunhui преди 1 седмица
родител
ревизия
2972643ffa
променени са 1 файла, в които са добавени 1 реда и са изтрити 1 реда
  1. 1 1
      applications/utils/chunks/topic_aware_chunking.py

+ 1 - 1
applications/utils/chunks/topic_aware_chunking.py

@@ -146,7 +146,7 @@ class TopicAwarePackerV2(TopicAwareChunker):
                     dataset_id=dataset_id,
                     text=text,
                     chunk_id=index,
-                    tokens=num_tokens(text),
+                    tokens=tokens,
                     text_type=text_type,
                     status=status,
                 )