Explorar o código

Fix primary codebook penalty

Lengyue %!s(int64=2) %!d(string=hai) anos
pai
achega
cb482fee94
Modificáronse 1 ficheiros con 1 adicións e 1 borrados
  1. 1 1
      tools/llama/generate.py

+ 1 - 1
tools/llama/generate.py

@@ -97,7 +97,7 @@ def decode_one_token(
     codebooks = [
         sample(
             logits.token_logits,
-            previous_tokens=previous_tokens[0],
+            previous_tokens=None,  # Disable repetition penalty for the token codebook
             **sampling_kwargs,
         )[0]
     ]