소스 검색

Optimize text splitting

Lengyue 2 년 전
부모
커밋
9f85e00327
1개의 변경된 파일1개의 추가작업 그리고 1개의 파일을 삭제
  1. 1 1
      tools/llama/generate.py

+ 1 - 1
tools/llama/generate.py

@@ -420,7 +420,7 @@ def split_text(text, min_length):
     curr = ""
     for char in text:
         curr += char
-        if char not in [".", ",", "!", "?"]:
+        if char not in [".", "!", "?"]:
             continue
 
         if len(curr) >= min_length: