Parcourir la source

fix: update PromptTokens assignment logic in relay_responses

CaIon il y a 6 mois
Parent
commit
eef73e3699
1 fichiers modifiés avec 1 ajouts et 1 suppressions
  1. 1 1
      relay/channel/openai/relay_responses.go

+ 1 - 1
relay/channel/openai/relay_responses.go

@@ -109,7 +109,7 @@ func OaiResponsesStreamHandler(c *gin.Context, info *relaycommon.RelayInfo, resp
 	}
 
 	if usage.PromptTokens == 0 && usage.CompletionTokens != 0 {
-		usage.PromptTokens = usage.CompletionTokens
+		usage.PromptTokens = info.PromptTokens
 	} else {
 		usage.TotalTokens = usage.PromptTokens + usage.CompletionTokens
 	}