Explorar o código

update weight decay

Lengyue %!s(int64=2) %!d(string=hai) anos
pai
achega
11b6900dc2
Modificáronse 1 ficheiros con 1 adicións e 1 borrados
  1. 1 1
      fish_speech/configs/text2semantic_pretrain.yaml

+ 1 - 1
fish_speech/configs/text2semantic_pretrain.yaml

@@ -59,7 +59,7 @@ model:
     _target_: torch.optim.AdamW
     _partial_: true
     lr: 3e-4
-    weight_decay: 0.1
+    weight_decay: 0.01
     betas: [0.9, 0.95]
     eps: 1e-5