Explorar el Código

feat: update chatgpt-4o token encoder

CalciumIon hace 1 año
padre
commit
e3b3fdec48
Se han modificado 1 ficheros con 1 adiciones y 1 borrados
  1. 1 1
      service/token_counter.go

+ 1 - 1
service/token_counter.go

@@ -52,7 +52,7 @@ func InitTokenEncoders() {
 }
 }
 
 
 func getModelDefaultTokenEncoder(model string) *tiktoken.Tiktoken {
 func getModelDefaultTokenEncoder(model string) *tiktoken.Tiktoken {
-	if strings.HasPrefix(model, "gpt-4o") {
+	if strings.HasPrefix(model, "gpt-4o") || strings.HasPrefix(model, "chatgpt-4o") {
 		return cl200kTokenEncoder
 		return cl200kTokenEncoder
 	}
 	}
 	return defaultTokenEncoder
 	return defaultTokenEncoder