Lengyue
23109ecb94
Optimize training loop & upgrade transformers
|
2 年 前 | |
|---|---|---|
| preparing_data | 2 年 前 | |
| speech_lm | 2 年 前 | |
| .dockerignore | 2 年 前 | |
| .gitignore | 2 年 前 | |
| .pre-commit-config.yaml | 2 年 前 | |
| README.md | 2 年 前 | |
| dockerfile | 2 年 前 | |
| requirements.txt | 2 年 前 | |
| setup.py | 2 年 前 |
README.md
Speech LLM
Setup
# Basic environment setup
conda create -n speech-llm python=3.10
conda activate speech-llm
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
# Install requirements
pip3 install -r requirements.txt
# Install flash-attn
MAX_JOBS=4 pip install flash-attn --no-build-isolation
# Install speech-llm
pip3 install -e .