 Lengyue
|
b530faccc9
Lint & fix attention mask & support whisper input features
|
2 年 前 |
|
Lengyue
|
254e93e632
Fix inference without attention mask
|
2 年 前 |
|
Lengyue
|
0c084ec779
Apply gradient accumulate to save memory
|
2 年 前 |
|
Lengyue
|
4cfb62a08a
Fix gradient accumulate logging
|
2 年 前 |
|
Lengyue
|
086c82d789
Fix vq whisper training & remove ema in tb logger
|
2 年 前 |
|
Lengyue
|
23109ecb94
Optimize training loop & upgrade transformers
|
2 年 前 |
|
Lengyue
|
7704bb7d09
Fix filename
|
2 年 前 |
|
Lengyue
|
938eca21a6
Rename config & smaller schedule
|
2 年 前 |
|
Lengyue
|
a003e5a390
Add utilities & whisper vq model
|
2 年 前 |
|
Lengyue
|
a114dfab4f
Fix multi lingual whisper
|
2 年 前 |
|
Lengyue
|
9153fc8278
Add whisper loss example
|
2 年 前 |
|
Lengyue
|
1854897e3c
Fix utf-8 encoding
|
2 年 前 |
|
Lengyue
|
0687dd1f1a
Greatly reduced cpu usage
|
2 年 前 |
|
Lengyue
|
18af8a9406
Add whisper with flash attn & use whisper to batch transcribe
|
2 年 前 |
|
Lengyue
|
9920873cf2
Optimize schedule
|
2 年 前 |
|
Lengyue
|
7031d18b3d
Let model fail on non-inf loss
|
2 年 前 |
|
Lengyue
|
5f01798ab4
Fix non-inf gradient
|
2 年 前 |
|
Lengyue
|
2a19adb045
Fix grad acc loss
|
2 年 前 |
|
Lengyue
|
8f75f764ad
Fix incorrect batch time
|
2 年 前 |
|
Lengyue
|
5f07060c6a
Optimize training loop
|
2 年 前 |
|
Lengyue
|
5d65ec0bd5
fix typo
|
2 年 前 |
|
Lengyue
|
b6b478701a
Rename dataloader to add support for valid loader
|
2 年 前 |
|
Lengyue
|
fb23d5df2d
Better train loop tracking
|
2 年 前 |
|
Lengyue
|
3fc0a688ca
Update Readme
|
2 年 前 |
|
Lengyue
|
9beb5981ec
Remove unused ds config
|
2 年 前 |
|
Lengyue
|
d211a7eac7
Better ETA
|
2 年 前 |
|
Lengyue
|
2733ed600f
Accelerate training with fsdp
|
2 年 前 |
|
Lengyue
|
01cf9bbafd
Fix dataset and training loop
|
2 年 前 |
|
Lengyue
|
712908e673
Support stream reading
|
2 年 前 |
|
Lengyue
|
e01dd330a1
optimize InterleaveDataset
|
2 年 前 |
