فهرست منبع

refactor: set prompt tokens when not provided in usage

CaIon 6 ماه پیش
والد
کامیت
d646a922ee
1فایلهای تغییر یافته به همراه4 افزوده شده و 0 حذف شده
  1. 4 0
      relay/channel/openai/relay_responses.go

+ 4 - 0
relay/channel/openai/relay_responses.go

@@ -103,6 +103,10 @@ func OaiResponsesStreamHandler(c *gin.Context, info *relaycommon.RelayInfo, resp
 			// 非正常结束,使用输出文本的 token 数量
 			completionTokens := service.CountTextToken(tempStr, info.UpstreamModelName)
 			usage.CompletionTokens = completionTokens
+
+			if usage.PromptTokens == 0 {
+				usage.PromptTokens = info.PromptTokens
+			}
 		}
 	}