Explorar el Código

Fix codebook inconsistent

Lengyue hace 2 años
padre
commit
3a4490c632
Se han modificado 1 ficheros con 7 adiciones y 1 borrados
  1. 7 1
      tools/llama/generate.py

+ 7 - 1
tools/llama/generate.py

@@ -122,7 +122,13 @@ def decode_one_token(
                 )[0]
             )
 
-    return torch.stack(codebooks, dim=0)
+    codebooks = torch.stack(codebooks, dim=0)
+    if codebooks[0] == 2:
+        codebooks[1] = 1
+    else:
+        codebooks[1] = codebooks[0] - 32311 + 2
+
+    return codebooks
 
 
 def prefill(