소스 검색

update weight decay

Lengyue 2 년 전
부모
커밋
11b6900dc2
1개의 변경된 파일1개의 추가작업 그리고 1개의 파일을 삭제
  1. 1 1
      fish_speech/configs/text2semantic_pretrain.yaml

+ 1 - 1
fish_speech/configs/text2semantic_pretrain.yaml

@@ -59,7 +59,7 @@ model:
     _target_: torch.optim.AdamW
     _partial_: true
     lr: 3e-4
-    weight_decay: 0.1
+    weight_decay: 0.01
     betas: [0.9, 0.95]
     eps: 1e-5