llm_vector_server/Dockerfile

# 基础镜像
FROM egs-registry.cn-hangzhou.cr.aliyuncs.com/egs/vllm:0.8.2-pytorch2.6-cu124-20250328

# 设置工作目录
WORKDIR /workspace

# 如果需要复制宿主机上的模型，可以提前 COPY
# COPY models /models

# 默认用 Python 启动 vLLM API Server
ENTRYPOINT ["python", "-m", "vllm.entrypoints.openai.api_server"]

# 默认参数（可以在 docker run 里覆盖）
CMD ["--model", "/models/Qwen3-Embedding-0.6B", "--dtype", "float16"]