فهرست منبع

feat:关闭compile

zhaohaipeng 1 ماه پیش
والد
کامیت
e186e6c8e3
1فایلهای تغییر یافته به همراه1 افزوده شده و 1 حذف شده
  1. 1 1
      fish_speech/models/text2semantic/inference.py

+ 1 - 1
fish_speech/models/text2semantic/inference.py

@@ -208,7 +208,7 @@ def decode_n_tokens(
 
     for i in tqdm(range(num_new_tokens)):
         f_start = time.perf_counter()
-        with sdpa_kernel(SDPBackend.CUDNN_ATTENTION):
+        with sdpa_kernel(SDPBackend.EFFICIENT_ATTENTION):
             next_token = decode_one_token(
                 model=model,
                 x=cur_token,