|
|
@@ -32,32 +32,23 @@ class RunContext(BaseModel):
|
|
|
question_annotation_instructions = """
|
|
|
你是搜索需求分析专家。给定问题(含需求背景),在原文上标注三层:本质、硬性、软性。
|
|
|
|
|
|
-## 三层结构
|
|
|
+## 判断标准
|
|
|
|
|
|
-**[本质]** - 问题的核心意图,改变后是完全不同的问题
|
|
|
+**[本质]** - 问题的核心意图
|
|
|
- 如何获取、教程、推荐、作品、测评等
|
|
|
|
|
|
-**[硬]** - 在本质意图下,必须满足的约束
|
|
|
-- 地域、时间、对象、质量要求等
|
|
|
+**[硬]** - 客观事实性约束(可明确验证、非主观判断)
|
|
|
+- 能明确区分类别的:地域、时间、对象、工具、操作类型
|
|
|
+- 特征:改变后得到完全不同类别的结果
|
|
|
|
|
|
-**[软]** - 可有可无的修饰
|
|
|
-- 能体现、特色、快速、简单等
|
|
|
+**[软]** - 主观判断性修饰(因人而异、程度性的)
|
|
|
+- 需要主观评价的:质量、速度、美观、特色、程度
|
|
|
+- 特征:改变后仍是同类结果,只是满足程度不同
|
|
|
|
|
|
## 输出格式
|
|
|
|
|
|
词语[本质-描述]、词语[硬-描述]、词语[软-描述]
|
|
|
|
|
|
-## 示例
|
|
|
-
|
|
|
-输入:如何获取能体现川西秋季特色的高质量风光摄影素材?
|
|
|
-输出:如何获取[本质-找方法] 川西[硬-地域] 秋季[硬-季节] 高质量[硬-质量] 风光摄影素材[硬-对象] 能体现[软-修饰] 特色[软-修饰]
|
|
|
-
|
|
|
-输入:PS抠图教程
|
|
|
-输出:PS[硬-工具] 抠图[硬-需求] 教程[本质-学习]
|
|
|
-
|
|
|
-输入:川西秋季风光摄影作品
|
|
|
-输出:川西[硬-地域] 秋季[硬-季节] 风光摄影[硬-对象] 作品[本质-欣赏]
|
|
|
-
|
|
|
## 注意
|
|
|
- 只输出标注后的字符串
|
|
|
- 结合需求背景判断意图
|
|
|
@@ -85,15 +76,17 @@ eval_instructions = """
|
|
|
|
|
|
推荐query的本质/意图是否与原问题一致?
|
|
|
|
|
|
-**原问题标注中的[本质-XXX]:**
|
|
|
-- 找方法/如何获取 → 推荐词应该是方法/获取途径
|
|
|
+**原问题标注中的[本质-XXX]对应推荐词要求:**
|
|
|
+- 找方法/如何获取 → 推荐词**必须明确包含方法/途径类词汇**
|
|
|
+ - ✅ "...网站推荐"、"如何获取..."、"...获取途径"、"...方法"
|
|
|
+ - ❌ "...下载"、"...素材"(直接找内容,不是找方法)
|
|
|
- 教程/学习 → 推荐词应该是教程/教学
|
|
|
- 作品/欣赏 → 推荐词应该是作品展示
|
|
|
- 工具/推荐 → 推荐词应该是工具推荐
|
|
|
|
|
|
-**评分:**
|
|
|
-- 1 = 本质一致
|
|
|
-- 0 = 本质改变(完全答非所问)
|
|
|
+**评分原则:**
|
|
|
+- 1 = 本质一致,推荐词**明确表达**相同意图
|
|
|
+- 0 = 本质改变或**不够明确**(宁可严格,不可放松)
|
|
|
|
|
|
### 2. hard_score(硬性约束)= 0 或 1
|
|
|
|
|
|
@@ -115,22 +108,6 @@ eval_instructions = """
|
|
|
- 0.4-0.6 = 部分丢失
|
|
|
- 0-0.3 = 大量丢失
|
|
|
|
|
|
-## 示例
|
|
|
-
|
|
|
-**原问题标注:** 如何获取[本质-找方法] 川西[硬-地域] 秋季[硬-季节] 高质量[硬-质量] 风光摄影素材[硬-对象] 能体现[软-修饰] 特色[软-修饰]
|
|
|
-
|
|
|
-**推荐query1:** 川西秋季风光摄影素材视频
|
|
|
-- essence_score=0(找方法→找素材本身,本质变了)
|
|
|
-- hard_score=1(地域、季节、对象都符合)
|
|
|
-- soft_score=0.5(丢失"高质量")
|
|
|
-- reason: 本质改变,用户要找获取素材的方法,推荐词是素材内容本身
|
|
|
-
|
|
|
-**推荐query2:** 川西秋季风光摄影素材网站推荐
|
|
|
-- essence_score=1(找方法→推荐网站,本质一致)
|
|
|
-- hard_score=1(所有硬性约束满足)
|
|
|
-- soft_score=0.8(保留核心,"高质量"未明确但推荐通常筛选过)
|
|
|
-- reason: 本质一致,硬性约束满足,软性略有丢失但可接受
|
|
|
-
|
|
|
## 注意
|
|
|
|
|
|
- essence=0 直接拒绝,不管hard/soft多高
|
|
|
@@ -156,79 +133,192 @@ evaluator = Agent[None](
|
|
|
# Agent 3: 修改策略生成专家
|
|
|
# ============================================================================
|
|
|
strategy_instructions = """
|
|
|
-你是query修改策略专家。基于所有历史尝试,生成下一步的query修改策略。
|
|
|
-
|
|
|
-## 输入
|
|
|
-- 原始问题标注(三层)
|
|
|
-- 当前query
|
|
|
-- 当前轮推荐词及其评估结果(essence_score, hard_score, soft_score, reason)
|
|
|
-- **历史尝试记录**:之前所有轮次的query、修改策略、评估结果
|
|
|
-
|
|
|
-## 分析维度
|
|
|
-
|
|
|
-### 0. 首先查看历史尝试(关键!)
|
|
|
-- 之前用过哪些query?结果如何?
|
|
|
-- 哪些操作类型已经尝试过?(简化、扩展、替换、组合)
|
|
|
-- 哪些方向是死路?(多次简化仍返回空/essence=0)
|
|
|
-- 是否有改进趋势?(从空列表→有推荐词,从essence=0→essence=1)
|
|
|
-- **避免重复无效的策略**
|
|
|
-
|
|
|
-### 1. 检查当前轮是否有推荐词
|
|
|
-- 如果返回空列表:query可能过于复杂或生僻
|
|
|
-- 结合历史:之前是否也返回空列表?如果多次空列表,需要大幅调整
|
|
|
-
|
|
|
-### 2. 分析 essence_score
|
|
|
-- 如果全是 essence_score=0:本质方向错了
|
|
|
-- 结合历史:之前essence情况如何?是否曾经有essence=1的结果?
|
|
|
-
|
|
|
-### 3. 分析 hard_score(仅看 essence_score=1 的)
|
|
|
-- 如果全是 hard_score=0:查看reason,哪些硬性约束不满足?
|
|
|
-- 结合历史:哪些约束反复不满足?
|
|
|
+你是query修改策略专家。**模拟人在搜索引擎中的真实搜索行为**,基于反馈动态调整query。
|
|
|
+
|
|
|
+## 核心思路:搜索是探索过程,不是直达过程
|
|
|
+
|
|
|
+**关键认知:**
|
|
|
+1. **中间query不需要满足原始需求** - 它是探索工具,可以偏离原需求
|
|
|
+2. **推荐词是最宝贵的反馈信号** - 告诉你系统理解成什么了,有什么内容
|
|
|
+3. **每一步query都有明确的探索目的** - 不是盲目改词,而是试探和引导
|
|
|
+4. **最终目标:找到满足需求的推荐词** - 不是让query本身满足需求
|
|
|
+
|
|
|
+## 人的真实搜索过程
|
|
|
+
|
|
|
+**搜索的本质**:通过多步探索,利用推荐词作为桥梁,逐步引导系统
|
|
|
+
|
|
|
+**典型模式**:
|
|
|
+
|
|
|
+第1步:直接尝试
|
|
|
+- 目的:看系统能否直接理解
|
|
|
+- 结果:空列表或essence=0
|
|
|
+- essence=0的推荐词:告诉你系统理解成什么了
|
|
|
+
|
|
|
+第2步:降低要求,简化query
|
|
|
+- 目的:让系统有响应,看它在基础层面有什么
|
|
|
+- 推荐词虽然essence=0,但揭示了系统在某个主题有内容
|
|
|
+- **关键**:选一个最有潜力的推荐词
|
|
|
+
|
|
|
+第3步:基于推荐词,往目标方向引导
|
|
|
+- 目的:利用推荐词作为桥梁,加上目标方向的词
|
|
|
+- 推荐词还是essence=0,但主题在变化(接近目标)
|
|
|
+- **渐进式**:不求一步到位,每步都有进展
|
|
|
+
|
|
|
+第4步:继续引导或换角度
|
|
|
+- 如果推荐词主题不变 → 换角度
|
|
|
+- 如果推荐词主题在接近 → 继续引导
|
|
|
+
|
|
|
+最终:找到essence=1的推荐词
|
|
|
+
|
|
|
+**关键原则**:
|
|
|
+1. essence_score是评估推荐词的,不是评估中间query的
|
|
|
+2. essence=0的推荐词也有价值,它揭示了系统的理解方向
|
|
|
+3. 每一步都有明确的探索目的,看目的是否达成
|
|
|
+4. 通过推荐词的主题变化,判断是否在接近目标
|
|
|
+
|
|
|
+## 输入信息
|
|
|
+- 原始问题标注(三层):本质、硬性约束、软性修饰
|
|
|
+- 历史尝试记录:所有轮次的query、推荐词、评估结果
|
|
|
+- 当前query和推荐词评估
|
|
|
+
|
|
|
+## 分析步骤
|
|
|
+
|
|
|
+### 第一步:理解当前推荐词的信号
|
|
|
+**核心问题:推荐词告诉我什么信息?**
|
|
|
+
|
|
|
+**重要提醒:essence_score是评估推荐词是否满足原始需求的最终目标**
|
|
|
+- essence_score=1: 推荐词满足原需求的本质
|
|
|
+- essence_score=0: 推荐词不满足原需求的本质
|
|
|
+- **但中间query的目的可能不是满足原需求**,所以essence_score只是参考
|
|
|
+
|
|
|
+1. **系统理解层面**(看推荐词的主题):
|
|
|
+ - 空列表 → 系统完全不理解当前query
|
|
|
+ - 有推荐词 → 系统理解成了什么主题?
|
|
|
+ - 旅游?教程?素材?工具?品种介绍?
|
|
|
+ - 这些主题是否有助于往目标方向引导?
|
|
|
+
|
|
|
+2. **内容可用性层面**(看推荐词的价值):
|
|
|
+ - **即使推荐词essence=0,也可能是很好的探索起点**
|
|
|
+ - 例如:推荐词"川西旅游攻略"虽然essence=0,但揭示了系统认识"川西"
|
|
|
+ - 哪些推荐词最有潜力作为下一步的桥梁?
|
|
|
+
|
|
|
+3. **探索目的验证**:
|
|
|
+ - 当前query的探索目的是什么?达到了吗?
|
|
|
+ - 例如:目的是"看系统对川西有什么" → 达到了(有推荐词)
|
|
|
+ - 下一步要验证/探索什么?
|
|
|
+
|
|
|
+### 第二步:回顾历史,识别规律
|
|
|
+- 哪些query让系统理解方向变化了?(从"旅游"变成"摄影")
|
|
|
+- 哪些方向是死路?(多次essence=0且推荐词主题不变)
|
|
|
+- **是否有渐进的改善?**(推荐词越来越接近目标)
|
|
|
+
|
|
|
+### 第三步:选择策略类型(带着明确的探索目的)
|
|
|
+
|
|
|
+**refine_current(微调当前query)**
|
|
|
+- 适用:推荐词方向对了,需要微调让它更精确
|
|
|
+- 探索目的:在正确方向上精细化
|
|
|
+- 动作:加词/减词/换词/调整顺序
|
|
|
+
|
|
|
+**use_recommendation(选推荐词作为新起点)** ⭐ 最重要策略
|
|
|
+- 适用:推荐词虽然essence=0,但**揭示了系统在这个方向有内容**
|
|
|
+- 探索目的:利用推荐词这个客观信号,引导系统往目标方向
|
|
|
+- **核心思维**:推荐词是系统给你的提示,告诉你"我有这个"
|
|
|
+- 动作:
|
|
|
+ - 选一个最有潜力的推荐词作为base_query
|
|
|
+ - 在它基础上加目标方向的词
|
|
|
+ - **这个新query可能不满足原需求,但目的是探索和引导**
|
|
|
+
|
|
|
+**change_approach(换完全不同的角度)**
|
|
|
+- 适用:当前方向是死路(多次尝试推荐词主题不变)
|
|
|
+- 探索目的:跳出当前框架,从另一个角度切入
|
|
|
+- 动作:换一种完全不同的表述方式
|
|
|
+
|
|
|
+**relax_constraints(放宽约束)**
|
|
|
+- 适用:query太复杂,系统不理解(返回空列表)
|
|
|
+- 探索目的:先让系统有响应,看它在最基础层面有什么
|
|
|
+- 动作:去掉限定词,保留核心概念
|
|
|
|
|
|
-### 4. 分析 soft_score(仅看 essence=1 且 hard=1 的)
|
|
|
-- 如果 soft_score < 0.7:查看reason,丢失了哪些信息?
|
|
|
-- 结合历史:soft_score的变化趋势?
|
|
|
-
|
|
|
-## 四种操作类型
|
|
|
-
|
|
|
-**简化**:删除冗余词汇,提取核心关键词
|
|
|
-- 适用场景:query过于复杂,返回空列表或推荐词发散
|
|
|
-- 注意:如果历史中已多次简化仍无效,应尝试其他操作
|
|
|
+## 输出要求
|
|
|
|
|
|
-**扩展**:添加限定词或场景描述
|
|
|
-- 适用场景:hard_score低,需要补充约束信息
|
|
|
-- 注意:查看历史中哪些约束信息被丢失
|
|
|
+### 1. reasoning(推理过程)
|
|
|
+必须包含三部分,**重点写探索目的**:
|
|
|
+
|
|
|
+- **当前推荐词信号分析**:
|
|
|
+ - 系统理解成什么主题了?(旅游?教程?素材?工具?品种?)
|
|
|
+ - 推荐词揭示了什么信息?(系统在哪个方向有内容)
|
|
|
+ - **不要只看essence_score**:
|
|
|
+ - essence_score=0不代表推荐词没用
|
|
|
+ - 关键看推荐词的主题是否有助于引导
|
|
|
+ - 哪个推荐词最有潜力作为下一步的桥梁?
|
|
|
+
|
|
|
+- **历史尝试与趋势**:
|
|
|
+ - 系统理解的主题变化:从"品种介绍"→"旅游"→"摄影"
|
|
|
+ - 是否在逐步接近目标?还是原地打转?
|
|
|
+
|
|
|
+- **下一步策略与探索目的**:
|
|
|
+ - **这一步query的探索目的是什么?**
|
|
|
+ - 验证系统对某个词的理解?
|
|
|
+ - 往某个方向引导?
|
|
|
+ - 利用推荐词作为桥梁?
|
|
|
+ - 为什么选这个base_query?
|
|
|
+ - 为什么这样修改?
|
|
|
+ - **重要**:不要纠结"这个query不满足原需求",关键是它能否达成探索目的
|
|
|
+
|
|
|
+### 2. strategy_type
|
|
|
+从4种策略中选择:refine_current, use_recommendation, change_approach, relax_constraints
|
|
|
+
|
|
|
+### 3. base_query
|
|
|
+**关键**:可以选择历史中的query,也可以选择历史推荐词
|
|
|
+- 如果选历史query:base_query_source = "history_query"
|
|
|
+- 如果选历史推荐词:base_query_source = "history_recommendation"
|
|
|
+
|
|
|
+### 4. base_query_source
|
|
|
+说明base_query的来源
|
|
|
+
|
|
|
+### 5. modification_actions
|
|
|
+列出具体的修改动作,例如:
|
|
|
+- ["去掉'如何获取'", "保留'川西秋季'", "把'素材'改为'图片'"]
|
|
|
+- ["选择推荐词'川西旅游'", "加上'秋季'", "加上'照片'"]
|
|
|
+
|
|
|
+### 6. new_query
|
|
|
+最终的新query
|
|
|
+
|
|
|
+## 重要原则
|
|
|
+
|
|
|
+1. **推荐词是最宝贵的反馈** - 充分利用推荐词这个客观信号
|
|
|
+ - 即使essence=0的推荐词,也揭示了系统在这个方向有什么
|
|
|
+ - **优先考虑use_recommendation策略** - 选一个推荐词作为起点
|
|
|
+
|
|
|
+2. **中间query可以偏离原需求** - 每一步都有明确的探索目的
|
|
|
+ - 不要纠结"这个query不满足原需求"
|
|
|
+ - 关键是:这个query能不能帮你往正确方向引导系统
|
|
|
+
|
|
|
+3. **识别死胡同,及时换方向**
|
|
|
+ - 如果多次尝试推荐词主题不变 → 换方向
|
|
|
+ - 如果推荐词越来越偏 → 回退到之前的某个好的起点
|
|
|
+
|
|
|
+4. **保持推理简洁** - 抓住关键信息
|
|
|
+ - 明确说出探索目的
|
|
|
+ - 不要重复啰嗦
|
|
|
+""".strip()
|
|
|
|
|
|
-**替换**:使用同义词、行业术语或口语化表达
|
|
|
-- 适用场景:essence_score低,核心概念理解偏差
|
|
|
-- 注意:如果历史显示简化无效,替换可能是突破口
|
|
|
+class ModificationStrategy(BaseModel):
|
|
|
+ """修改策略模型 - 模拟人的搜索调整过程"""
|
|
|
+ reasoning: str = Field(..., description="推理过程:1)当前推荐词分析:系统理解成什么了?2)历史尝试总结:哪些方向有效/无效?3)下一步策略:为什么这样调整?")
|
|
|
|
|
|
-**组合**:调整关键词顺序或组合方式
|
|
|
-- 适用场景:结构不合理,需要调整重点
|
|
|
-- 注意:基于历史中哪些关键词组合更有效
|
|
|
+ strategy_type: Literal[
|
|
|
+ "refine_current", # 微调当前query(加词/减词/换词/换顺序)
|
|
|
+ "use_recommendation", # 选择推荐词作为新起点,在它基础上修改
|
|
|
+ "change_approach", # 换完全不同的表述角度
|
|
|
+ "relax_constraints" # 放宽约束,去掉部分限定词
|
|
|
+ ] = Field(..., description="策略类型")
|
|
|
|
|
|
-## 输出要求
|
|
|
+ base_query: str = Field(..., description="基础query,可以是:1)历史中的query 2)历史推荐词中的某一个")
|
|
|
+ base_query_source: Literal["history_query", "history_recommendation"] = Field(..., description="base_query的来源")
|
|
|
|
|
|
-必须输出以下字段:
|
|
|
-- operation_type: "简化" | "扩展" | "替换" | "组合"
|
|
|
-- new_query: 修改后的新query
|
|
|
-- reason: 详细理由,必须包括:
|
|
|
- 1. **历史尝试总结**:之前尝试了哪些query和策略?结果如何?
|
|
|
- 2. **当前轮评估发现**:引用具体的分数和理由
|
|
|
- 3. **为什么这样修改**:结合历史经验说明
|
|
|
- 4. **预期改进**:基于历史趋势的预期
|
|
|
+ modification_actions: list[str] = Field(..., description="具体修改动作的描述,如:['去掉\"如何获取\"', '保留核心词\"川西秋季\"', '把\"素材\"改为\"图片\"']")
|
|
|
|
|
|
-## 注意
|
|
|
-- **优先考虑历史经验,避免重复失败的策略**
|
|
|
-- 理由必须基于实际数据,不能编造
|
|
|
-- 如果返回空列表,必须在reason中说明,并结合历史判断原因
|
|
|
-""".strip()
|
|
|
-
|
|
|
-class ModificationStrategy(BaseModel):
|
|
|
- """修改策略模型"""
|
|
|
- operation_type: Literal["简化", "扩展", "替换", "组合"] = Field(..., description="操作类型")
|
|
|
new_query: str = Field(..., description="修改后的新query")
|
|
|
- reason: str = Field(..., description="修改理由")
|
|
|
|
|
|
strategy_generator = Agent[None](
|
|
|
name="策略生成专家",
|
|
|
@@ -338,10 +428,13 @@ async def generate_modification_strategy(
|
|
|
# 修改操作也记录,但不增加轮数
|
|
|
history_records.append({
|
|
|
"operation": "modify_query",
|
|
|
- "modification_type": op["modification_type"],
|
|
|
+ "strategy_type": op.get("strategy_type", op.get("modification_type")), # 兼容旧字段
|
|
|
+ "base_query": op.get("base_query"),
|
|
|
+ "base_query_source": op.get("base_query_source"),
|
|
|
+ "modification_actions": op.get("modification_actions", []),
|
|
|
"original_query": op["original_query"],
|
|
|
"new_query": op["new_query"],
|
|
|
- "reason": op["reason"]
|
|
|
+ "reasoning": op["reasoning"]
|
|
|
})
|
|
|
|
|
|
# 格式化历史记录为JSON
|
|
|
@@ -366,37 +459,41 @@ async def generate_modification_strategy(
|
|
|
|
|
|
请基于所有历史尝试和当前评估结果,生成下一步的query修改策略。
|
|
|
|
|
|
-重点关注:
|
|
|
-1. **查看历史中每个推荐词的详细评估**:
|
|
|
- - 哪些推荐词的essence_score=1?它们的表述有什么特点?
|
|
|
- - 哪些推荐词的hard_score=1?它们保留了哪些约束?
|
|
|
- - 每个推荐词的reason中提到了什么问题?
|
|
|
-2. **避免重复失败的方向**:
|
|
|
- - 如果某个方向多次返回essence=0,避免继续
|
|
|
- - 如果某个操作类型反复无效,尝试其他类型
|
|
|
-3. **识别有效的表述方式**:
|
|
|
- - 历史中是否有essence=1的推荐词?学习它们的表述
|
|
|
- - 哪些关键词组合更容易被正确理解?
|
|
|
-4. **基于趋势做决策**:
|
|
|
- - 是否有改进趋势(空列表→有推荐词,essence=0→essence=1)?
|
|
|
- - 还是陷入死胡同(多次尝试无改善)?
|
|
|
+重点分析:
|
|
|
+
|
|
|
+1. **当前推荐词的信号**:
|
|
|
+ - 系统理解成什么主题了?(旅游?教程?素材?工具?品种?)
|
|
|
+ - 推荐词揭示了什么信息?系统在哪个方向有内容?
|
|
|
+ - **不要只看essence_score**:essence=0的推荐词也可能是好的探索起点
|
|
|
+ - 哪个推荐词最有潜力作为下一步的桥梁?
|
|
|
+
|
|
|
+2. **历史趋势分析**:
|
|
|
+ - 推荐词的主题变化:从"品种介绍"→"旅游"→"摄影"?
|
|
|
+ - 是否在逐步接近目标?还是原地打转(主题不变)?
|
|
|
+ - 哪些query让系统理解方向改变了?
|
|
|
+
|
|
|
+3. **确定探索目的**:
|
|
|
+ - 下一步query的探索目的是什么?
|
|
|
+ * 验证系统对某个词的理解?
|
|
|
+ * 往某个方向引导系统?
|
|
|
+ * 利用推荐词作为桥梁?
|
|
|
+ - **记住**:中间query不需要满足原需求,关键是达成探索目的
|
|
|
"""
|
|
|
result = await Runner.run(strategy_generator, strategy_input)
|
|
|
strategy: ModificationStrategy = result.final_output
|
|
|
return strategy
|
|
|
|
|
|
|
|
|
-def find_best_qualified_query(evaluations: list[dict], min_soft_score: float = 0.7) -> dict | None:
|
|
|
- """查找最佳合格query"""
|
|
|
+def find_qualified_queries(evaluations: list[dict], min_soft_score: float = 0.7) -> list[dict]:
|
|
|
+ """查找所有合格的query,按soft_score降序排列"""
|
|
|
qualified = [
|
|
|
e for e in evaluations
|
|
|
if e['essence_score'] == 1
|
|
|
and e['hard_score'] == 1
|
|
|
and e['soft_score'] >= min_soft_score
|
|
|
]
|
|
|
- if qualified:
|
|
|
- return max(qualified, key=lambda x: x['soft_score'])
|
|
|
- return None
|
|
|
+ # 按soft_score降序排列
|
|
|
+ return sorted(qualified, key=lambda x: x['soft_score'], reverse=True)
|
|
|
|
|
|
|
|
|
# ============================================================================
|
|
|
@@ -436,12 +533,12 @@ async def optimize_query(context: RunContext, max_rounds: int = 20) -> dict:
|
|
|
|
|
|
if evaluations:
|
|
|
# 检查是否找到合格query
|
|
|
- best = find_best_qualified_query(evaluations, min_soft_score=0.7)
|
|
|
- if best:
|
|
|
+ qualified_queries = find_qualified_queries(evaluations, min_soft_score=0.7)
|
|
|
+ if qualified_queries:
|
|
|
return {
|
|
|
"success": True,
|
|
|
- "result": best,
|
|
|
- "message": f"第{round_num}轮找到合格query"
|
|
|
+ "results": qualified_queries,
|
|
|
+ "message": f"第{round_num}轮找到{len(qualified_queries)}个合格query"
|
|
|
}
|
|
|
|
|
|
# 如果是最后一轮,不再生成策略
|
|
|
@@ -453,19 +550,23 @@ async def optimize_query(context: RunContext, max_rounds: int = 20) -> dict:
|
|
|
strategy = await generate_modification_strategy(current_query, evaluations, annotation, context)
|
|
|
|
|
|
print(f"\n修改策略:")
|
|
|
- print(f" 操作类型:{strategy.operation_type}")
|
|
|
- print(f" 原query:{current_query}")
|
|
|
+ print(f" 推理过程:{strategy.reasoning}")
|
|
|
+ print(f" 策略类型:{strategy.strategy_type}")
|
|
|
+ print(f" 基础query:{strategy.base_query} (来源: {strategy.base_query_source})")
|
|
|
+ print(f" 修改动作:{', '.join(strategy.modification_actions)}")
|
|
|
print(f" 新query:{strategy.new_query}")
|
|
|
- print(f" 理由:{strategy.reason}")
|
|
|
|
|
|
# 记录修改
|
|
|
context.operations_history.append({
|
|
|
"operation_type": "modify_query",
|
|
|
"timestamp": datetime.now().isoformat(),
|
|
|
- "modification_type": strategy.operation_type,
|
|
|
+ "reasoning": strategy.reasoning,
|
|
|
+ "strategy_type": strategy.strategy_type,
|
|
|
+ "base_query": strategy.base_query,
|
|
|
+ "base_query_source": strategy.base_query_source,
|
|
|
+ "modification_actions": strategy.modification_actions,
|
|
|
"original_query": current_query,
|
|
|
"new_query": strategy.new_query,
|
|
|
- "reason": strategy.reason,
|
|
|
})
|
|
|
|
|
|
# 更新当前query
|
|
|
@@ -476,12 +577,12 @@ async def optimize_query(context: RunContext, max_rounds: int = 20) -> dict:
|
|
|
print(f"{max_rounds}轮后未找到最优query,降低标准(soft_score >= 0.5)")
|
|
|
print(f"{'='*60}")
|
|
|
|
|
|
- best_acceptable = find_best_qualified_query(evaluations, min_soft_score=0.5)
|
|
|
- if best_acceptable:
|
|
|
+ acceptable_queries = find_qualified_queries(evaluations, min_soft_score=0.5)
|
|
|
+ if acceptable_queries:
|
|
|
return {
|
|
|
"success": True,
|
|
|
- "result": best_acceptable,
|
|
|
- "message": f"{max_rounds}轮后找到可接受query(soft_score >= 0.5)"
|
|
|
+ "results": acceptable_queries,
|
|
|
+ "message": f"{max_rounds}轮后找到{len(acceptable_queries)}个可接受query(soft_score >= 0.5)"
|
|
|
}
|
|
|
|
|
|
# 完全失败:找出最接近的
|
|
|
@@ -490,16 +591,17 @@ async def optimize_query(context: RunContext, max_rounds: int = 20) -> dict:
|
|
|
if e['essence_score'] == 1 and e['hard_score'] == 1
|
|
|
]
|
|
|
if essence_hard_ok:
|
|
|
- closest = max(essence_hard_ok, key=lambda x: x['soft_score'])
|
|
|
+ # 返回所有满足essence和hard的,按soft_score降序
|
|
|
+ closest_queries = sorted(essence_hard_ok, key=lambda x: x['soft_score'], reverse=True)
|
|
|
return {
|
|
|
"success": False,
|
|
|
- "result": closest,
|
|
|
- "message": f"未找到合格query,最接近的soft_score={closest['soft_score']}"
|
|
|
+ "results": closest_queries,
|
|
|
+ "message": f"未找到合格query,但有{len(closest_queries)}个接近的推荐词(essence=1, hard=1)"
|
|
|
}
|
|
|
|
|
|
return {
|
|
|
"success": False,
|
|
|
- "result": None,
|
|
|
+ "results": [],
|
|
|
"message": "未找到任何满足本质和硬性约束的推荐词"
|
|
|
}
|
|
|
|
|
|
@@ -510,32 +612,33 @@ async def optimize_query(context: RunContext, max_rounds: int = 20) -> dict:
|
|
|
|
|
|
def format_output(optimization_result: dict, context: RunContext) -> str:
|
|
|
"""格式化输出结果"""
|
|
|
- if optimization_result["success"]:
|
|
|
- result = optimization_result["result"]
|
|
|
- return f"""
|
|
|
-原始问题:{context.q}
|
|
|
-优化后的query:{result['query']}
|
|
|
-本质匹配度:{result['essence_score']} (1=本质一致)
|
|
|
-硬性约束匹配度:{result['hard_score']} (1=所有约束满足)
|
|
|
-软性修饰完整度:{result['soft_score']} (0-1)
|
|
|
-评估理由:{result['reason']}
|
|
|
-状态:{optimization_result['message']}
|
|
|
-""".strip()
|
|
|
+ results = optimization_result.get("results", [])
|
|
|
+
|
|
|
+ if optimization_result["success"] and results:
|
|
|
+ output = f"原始问题:{context.q}\n"
|
|
|
+ output += f"状态:{optimization_result['message']}\n\n"
|
|
|
+ output += "合格的推荐query(按soft_score降序):\n"
|
|
|
+ for i, result in enumerate(results, 1):
|
|
|
+ output += f"\n{i}. {result['query']}\n"
|
|
|
+ output += f" - 本质匹配度:{result['essence_score']} (1=本质一致)\n"
|
|
|
+ output += f" - 硬性约束匹配度:{result['hard_score']} (1=所有约束满足)\n"
|
|
|
+ output += f" - 软性修饰完整度:{result['soft_score']:.2f} (0-1)\n"
|
|
|
+ output += f" - 评估理由:{result['reason']}\n"
|
|
|
+ return output.strip()
|
|
|
else:
|
|
|
- output = f"""
|
|
|
-原始问题:{context.q}
|
|
|
-结果:未找到合格推荐query
|
|
|
-原因:{optimization_result['message']}
|
|
|
-"""
|
|
|
- if optimization_result["result"]:
|
|
|
- result = optimization_result["result"]
|
|
|
- output += f"""
|
|
|
-最接近的推荐词:{result['query']}
|
|
|
- - essence_score: {result['essence_score']}
|
|
|
- - hard_score: {result['hard_score']}
|
|
|
- - soft_score: {result['soft_score']}
|
|
|
- - reason: {result['reason']}
|
|
|
-"""
|
|
|
+ output = f"原始问题:{context.q}\n"
|
|
|
+ output += f"结果:未找到合格推荐query\n"
|
|
|
+ output += f"原因:{optimization_result['message']}\n"
|
|
|
+
|
|
|
+ if results:
|
|
|
+ output += "\n最接近的推荐词(按soft_score降序):\n"
|
|
|
+ for i, result in enumerate(results[:3], 1): # 只显示前3个
|
|
|
+ output += f"\n{i}. {result['query']}\n"
|
|
|
+ output += f" - essence_score: {result['essence_score']}\n"
|
|
|
+ output += f" - hard_score: {result['hard_score']}\n"
|
|
|
+ output += f" - soft_score: {result['soft_score']:.2f}\n"
|
|
|
+ output += f" - reason: {result['reason']}\n"
|
|
|
+
|
|
|
output += "\n建议:尝试简化问题或调整需求描述"
|
|
|
return output.strip()
|
|
|
|