# rag_server
        rag 知识库服务， 基于 Quart + asyncio 搭建的异步知识库分块索引服务
    其中，文本 embedding 服务使用的 Qwen3-embedding-4B模型，向量维度 2560；
    搜索策略流程为： ES -> milvus -> Mysql -> Result;
    
    todo:
    1. 在 milvus -> mysql之间增加精排模块，优先级较低暂未推进
    2. 目前的图片 embedding 模块使用的eva-clip模型，图片 和 文本使用不同向量模式，待优化
    

### 启动
#### 1. 本地启动
    git clone https://git.yishihui.com/Server/rag_server.git
    hypercorn vector_app:app --config config.toml

#### 2. docker启动
    docker compose up -d --force-recreate --build

### feature 管理
    1. master 分支禁止直接commit
    2. 分支命名规则： feature/name/YYYY-mm-dd-description
        比如： feature/luojunhui/2025-09-23-update-readme
    3. commit 前使用 “ruff format .” 格式化项目代码

### 部署相关
    服务器：因为GPU资源问题，服务部署在本地机房 4090机器上
    服务器 ip： 192.168.100.31
    服务器 user： ubuntu; password: denet
    服务地址：/home/ubuntu/luojunhui/llm/rag_server

### 项目结构
    applications
        api: api 调用模块，入 embedding server 以及三方 deepseek api
        async_task： 服务异步任务处理模块
        config： 配置
        resource： 服务数据库资源管理
        search： 搜索策略
        utils： 功能组件
    routes： 服务路由
    vector_app.py： main app