Jelajahi Sumber

Reduce lr warmup

Lengyue 2 tahun lalu
induk
melakukan
1a9ecd4aad
1 mengubah file dengan 1 tambahan dan 1 penghapusan
  1. 1 1
      fish_speech/configs/text2semantic_sft.yaml

+ 1 - 1
fish_speech/configs/text2semantic_sft.yaml

@@ -83,6 +83,6 @@ model:
     lr_lambda:
       _target_: fish_speech.scheduler.get_cosine_schedule_with_warmup_lr_lambda
       _partial_: true
-      num_warmup_steps: 2000
+      num_warmup_steps: 200
       num_training_steps: ${trainer.max_steps}
       final_lr_ratio: 0.1