Lengyue
e01dd330a1
optimize InterleaveDataset
|
2 лет назад | |
|---|---|---|
| preparing_data | 2 лет назад | |
| speech_lm | 2 лет назад | |
| .dockerignore | 2 лет назад | |
| .gitignore | 2 лет назад | |
| .pre-commit-config.yaml | 2 лет назад | |
| .project-root | 2 лет назад | |
| README.md | 2 лет назад | |
| dockerfile | 2 лет назад | |
| ds_config.json | 2 лет назад | |
| requirements.txt | 2 лет назад | |
| setup.py | 2 лет назад | |
| train.sh | 2 лет назад |
README.md
Speech LLM
Setup
# Basic environment setup
conda create -n speech-llm python=3.10
conda activate speech-llm
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
# Install requirements
pip3 install -r requirements.txt
# Install flash-attn
MAX_JOBS=4 pip install flash-attn --no-build-isolation