瀏覽代碼

Fix codebook inconsistent

Lengyue 2 年之前
父節點
當前提交
3a4490c632
共有 1 個文件被更改,包括 7 次插入1 次删除
  1. 7 1
      tools/llama/generate.py

+ 7 - 1
tools/llama/generate.py

@@ -122,7 +122,13 @@ def decode_one_token(
                 )[0]
                 )[0]
             )
             )
 
 
-    return torch.stack(codebooks, dim=0)
+    codebooks = torch.stack(codebooks, dim=0)
+    if codebooks[0] == 2:
+        codebooks[1] = 1
+    else:
+        codebooks[1] = codebooks[0] - 32311 + 2
+
+    return codebooks
 
 
 
 
 def prefill(
 def prefill(