wenyifan 1 месяц назад
Родитель
Сommit
498199b37d
1 измененных файлов с 9 добавлено и 3 удалено
  1. 9 3
      relay/channel/openai/relay-openai.go

+ 9 - 3
relay/channel/openai/relay-openai.go

@@ -703,13 +703,19 @@ func extractLlamaCachedTokensFromBody(body []byte) (int, bool) {
 	}
 	}
 
 
 	var payload struct {
 	var payload struct {
-		Usage struct {
-			CachedTokens *int `json:"cache_n"`
+		Timings struct {
+			Usage struct {
+				CachedTokens *int `json:"cache_n"`
+			} `json:"usage"`
 		} `json:"timings"`
 		} `json:"timings"`
 	}
 	}
 
 
 	if err := common.Unmarshal(body, &payload); err != nil {
 	if err := common.Unmarshal(body, &payload); err != nil {
 		return 0, false
 		return 0, false
 	}
 	}
-	return *payload.Usage.CachedTokens, true
+
+	if payload.Timings.Usage.CachedTokens == nil {
+		return 0, false
+	}
+	return *payload.Timings.Usage.CachedTokens, true
 }
 }