Lengyue
3297b2dc2c
Add hubert vq training
|
há 2 anos atrás | |
|---|---|---|
| preparing_data | há 2 anos atrás | |
| speech_lm | há 2 anos atrás | |
| .dockerignore | há 2 anos atrás | |
| .gitignore | há 2 anos atrás | |
| .pre-commit-config.yaml | há 2 anos atrás | |
| .project-root | há 2 anos atrás | |
| README.md | há 2 anos atrás | |
| dockerfile | há 2 anos atrás | |
| ds_config.json | há 2 anos atrás | |
| requirements.txt | há 2 anos atrás | |
| train.sh | há 2 anos atrás |
README.md
Speech LLM
Setup
# Basic environment setup
conda create -n speech-llm python=3.10
conda activate speech-llm
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
# Install requirements
pip3 install -r requirements.txt
# Install flash-attn
MAX_JOBS=4 pip install flash-attn --no-build-isolation