Explorar el Código

Reduce lr warmup

Lengyue hace 2 años
padre
commit
1a9ecd4aad
Se han modificado 1 ficheros con 1 adiciones y 1 borrados
  1. 1 1
      fish_speech/configs/text2semantic_sft.yaml

+ 1 - 1
fish_speech/configs/text2semantic_sft.yaml

@@ -83,6 +83,6 @@ model:
     lr_lambda:
       _target_: fish_speech.scheduler.get_cosine_schedule_with_warmup_lr_lambda
       _partial_: true
-      num_warmup_steps: 2000
+      num_warmup_steps: 200
       num_training_steps: ${trainer.max_steps}
       final_lr_ratio: 0.1