Przeglądaj źródła

Fix codebook inconsistent

Lengyue 2 lat temu
rodzic
commit
3a4490c632
1 zmienionych plików z 7 dodań i 1 usunięć
  1. 7 1
      tools/llama/generate.py

+ 7 - 1
tools/llama/generate.py

@@ -122,7 +122,13 @@ def decode_one_token(
                 )[0]
             )
 
-    return torch.stack(codebooks, dim=0)
+    codebooks = torch.stack(codebooks, dim=0)
+    if codebooks[0] == 2:
+        codebooks[1] = 1
+    else:
+        codebooks[1] = codebooks[0] - 32311 + 2
+
+    return codebooks
 
 
 def prefill(