Просмотр исходного кода

feat: Support max_tokens parameter for Ollama channel #782

1808837298@qq.com 1 год назад
Родитель
Сommit
a81a28b7a5
2 измененных файлов с 2 добавлено и 0 удалено
  1. 1 0
      relay/channel/ollama/dto.go
  2. 1 0
      relay/channel/ollama/relay-ollama.go

+ 1 - 0
relay/channel/ollama/dto.go

@@ -11,6 +11,7 @@ type OllamaRequest struct {
 	Topp             float64            `json:"top_p,omitempty"`
 	TopK             int                `json:"top_k,omitempty"`
 	Stop             any                `json:"stop,omitempty"`
+	MaxTokens        uint               `json:"max_tokens,omitempty"`
 	Tools            []dto.ToolCall     `json:"tools,omitempty"`
 	ResponseFormat   any                `json:"response_format,omitempty"`
 	FrequencyPenalty float64            `json:"frequency_penalty,omitempty"`

+ 1 - 0
relay/channel/ollama/relay-ollama.go

@@ -58,6 +58,7 @@ func requestOpenAI2Ollama(request dto.GeneralOpenAIRequest) (*OllamaRequest, err
 		TopK:             request.TopK,
 		Stop:             Stop,
 		Tools:            request.Tools,
+		MaxTokens:        request.MaxTokens,
 		ResponseFormat:   request.ResponseFormat,
 		FrequencyPenalty: request.FrequencyPenalty,
 		PresencePenalty:  request.PresencePenalty,