 Leng Yue
|
5e7914472f
This PR brings V1.2 inference into main (#300)
|
пре 1 година |
|
Lengyue
|
467b7beb56
Support lora tuning & update document
|
пре 1 година |
|
Lengyue
|
39a79a2c98
Optimize loss sync
|
пре 1 година |
|
Lengyue
|
1d4b7256b3
Optimize pretrain & finetune receipe, apply better logger
|
пре 1 година |
|
Lengyue
|
26af12b8c6
Make AR and naive decoder configurable
|
пре 2 година |
|
Lengyue
|
0a1986bb14
Fix data leaking
|
пре 2 година |
|
Lengyue
|
cbab5b8ec8
Fix label rotating
|
пре 2 година |
|
Lengyue
|
7a31b4043a
Fix target rotate
|
пре 2 година |
|
Lengyue
|
5bd88b131e
Add additional metrics
|
пре 2 година |
|
Lengyue
|
8f9299673d
Fix weight decay config
|
пре 2 година |
|
Lengyue
|
0e0332396f
optimize dpo behavior
|
пре 2 година |
|
Lengyue
|
8093258065
Optimize lora & add auto dpo training
|
пре 2 година |
|
Lengyue
|
7ac4d4b918
Add neft and save lora only
|
пре 2 година |
|
Lengyue
|
83582d1e89
Update dataloader, loss tracker, and config
|
пре 2 година |
|
Lengyue
|
cdecc2abbc
Add lora support
|
пре 2 година |
|
Lengyue
|
dcc5e80ce2
Add flash attention & gradient checkpointing
|
пре 2 година |
|
Lengyue
|
9ac8edef1e
Support mix codebook training
|
пре 2 година |
|
Lengyue
|
4b22991668
Implement parallel decoding llama
|
пре 2 година |
|
Lengyue
|
895ed8e748
Add new text to semantic model
|
пре 2 година |
|
Lengyue
|
a03b1b2767
Optimize logger & add multilingual data
|
пре 2 година |
|
Lengyue
|
f7f2c03282
Support pytorch lightning
|
пре 2 година |
