|
|
@@ -595,6 +595,357 @@ class LLMEvaluator:
|
|
|
# 尝试从其他字段获取
|
|
|
return feature_node.get("原始特征名称", feature_node.get("特征名称", ""))
|
|
|
|
|
|
+ # ========== Stage 6: 两层评估方法 ==========
|
|
|
+
|
|
|
+ def evaluate_note_with_filter(
|
|
|
+ self,
|
|
|
+ search_query: str,
|
|
|
+ target_feature: str,
|
|
|
+ note_title: str,
|
|
|
+ note_content: str,
|
|
|
+ note_images: List[str],
|
|
|
+ note_index: int = 0
|
|
|
+ ) -> Dict[str, Any]:
|
|
|
+ """
|
|
|
+ 两层评估单个笔记（完整Prompt版本）
|
|
|
+
|
|
|
+ 第一层：Query相关性过滤
|
|
|
+ 第二层：目标特征匹配度评分
|
|
|
+
|
|
|
+ Args:
|
|
|
+ search_query: 搜索Query，如 "外观装扮 发布萌宠内容"
|
|
|
+ target_feature: 目标特征，如 "佩戴"
|
|
|
+ note_title: 笔记标题
|
|
|
+ note_content: 笔记正文
|
|
|
+ note_images: 图片URL列表（会传递给LLM进行视觉分析和OCR）
|
|
|
+ note_index: 笔记索引
|
|
|
+
|
|
|
+ Returns:
|
|
|
+ 评估结果字典
|
|
|
+ """
|
|
|
+ # 构建完整的评估Prompt（用户提供的完整版本，一字不改）
|
|
|
+ prompt = f"""# 任务说明
|
|
|
+你需要判断搜索到的案例信息与目标特征的相关性。判断分为两层：第一层过滤与搜索Query无关的结果，第二层评估与目标特征的匹配度。
|
|
|
+
|
|
|
+# 输入信息
|
|
|
+
|
|
|
+搜索Query：{search_query}
|
|
|
+目标特征：{target_feature}
|
|
|
+搜索结果：
|
|
|
+- 标题: {note_title}
|
|
|
+- 正文: {note_content[:800]}
|
|
|
+- 图像: {len(note_images)}张图片（请仔细分析图片内容，包括OCR提取图片中的文字）
|
|
|
+
|
|
|
+# 判断流程
|
|
|
+第一层：Query相关性过滤
|
|
|
+判断标准：搜索结果是否与搜索Query相关
|
|
|
+过滤规则：
|
|
|
+
|
|
|
+✅ 保留：搜索结果的标题、正文或图像内容中包含Query相关的信息
|
|
|
+
|
|
|
+Query的核心关键词在结果中出现
|
|
|
+或结果讨论的主题与Query直接相关
|
|
|
+或结果是Query概念的上位/下位/平行概念
|
|
|
+
|
|
|
+
|
|
|
+❌ 过滤：搜索结果与Query完全无关
|
|
|
+
|
|
|
+Query的关键词完全未出现
|
|
|
+结果主题与Query无任何关联
|
|
|
+仅因搜索引擎误匹配而出现
|
|
|
+
|
|
|
+
|
|
|
+
|
|
|
+示例：
|
|
|
+
|
|
|
+Query "墨镜搭配" → 结果"太阳镜选购指南" ✅ 保留（墨镜=太阳镜）
|
|
|
+Query "墨镜搭配" → 结果"眼镜搭配技巧" ✅ 保留（眼镜是上位概念）
|
|
|
+Query "墨镜搭配" → 结果"帽子搭配技巧" ❌ 过滤（完全无关）
|
|
|
+Query "复古滤镜" → 结果"滤镜调色教程" ✅ 保留（包含滤镜）
|
|
|
+Query "复古滤镜" → 结果"相机推荐" ❌ 过滤（主题不相关）
|
|
|
+
|
|
|
+输出：
|
|
|
+如果判定为 ❌ 过滤，直接输出：
|
|
|
+
|
|
|
+json{{
|
|
|
+ "Query相关性": "不相关",
|
|
|
+ "综合得分": 0,
|
|
|
+ "匹配类型": "过滤",
|
|
|
+ "说明": "搜索结果与Query '{search_query}' 完全无关，建议过滤"
|
|
|
+}}
|
|
|
+
|
|
|
+如果判定为 ✅ 保留，进入第二层评分
|
|
|
+
|
|
|
+第二层：目标特征匹配度评分
|
|
|
+综合考虑语义相似度（概念匹配、层级关系、实操价值）和场景关联度（应用场景、使用语境）进行评分：
|
|
|
+8-10分：完全匹配
|
|
|
+
|
|
|
+语义层面：找到与目标特征完全相同或高度一致的内容，核心概念完全一致
|
|
|
+场景层面：完全适用于同一场景、受众、平台和语境
|
|
|
+实操价值：提供了具体可执行的方法、步骤或技巧
|
|
|
+示例：
|
|
|
+
|
|
|
+目标"复古滤镜" + 小红书穿搭场景 vs 结果"小红书复古滤镜调色教程"
|
|
|
+目标"墨镜" + 时尚搭配场景 vs 结果"时尚墨镜搭配指南"
|
|
|
+
|
|
|
+
|
|
|
+
|
|
|
+6-7分：相似匹配
|
|
|
+
|
|
|
+语义层面：
|
|
|
+
|
|
|
+结果是目标的上位概念（更宽泛）或下位概念（更具体）
|
|
|
+或属于同一概念的不同表现形式
|
|
|
+或属于平行概念（同级不同类）
|
|
|
+
|
|
|
+
|
|
|
+场景层面：场景相近但有差异，需要筛选或调整后可用
|
|
|
+实操价值：有一定参考价值但需要转化应用
|
|
|
+示例：
|
|
|
+
|
|
|
+目标"墨镜" + 时尚搭配 vs 结果"眼镜搭配技巧"（上位概念，需筛选）
|
|
|
+目标"怀旧滤镜" + 人像拍摄 vs 结果"胶片感调色"（不同表现形式）
|
|
|
+目标"日常穿搭" + 街拍 vs 结果"通勤穿搭拍照"（场景相近）
|
|
|
+
|
|
|
+
|
|
|
+
|
|
|
+5-6分：弱相似
|
|
|
+
|
|
|
+语义层面：属于同一大类但具体方向或侧重点明显不同
|
|
|
+场景层面：场景有明显差异，迁移需要较大改造
|
|
|
+实操价值：提供了概念启发但需要较大转化
|
|
|
+示例：
|
|
|
+
|
|
|
+目标"户外运动穿搭" vs 结果"健身房穿搭指南"
|
|
|
+目标"小红书图文笔记" vs 结果"抖音短视频脚本"
|
|
|
+
|
|
|
+
|
|
|
+
|
|
|
+4分及以下：无匹配
|
|
|
+
|
|
|
+语义层面：仅表面词汇重叠，实质关联弱，或概念距离过远
|
|
|
+场景层面：应用场景基本不同或完全不同
|
|
|
+实操价值：实操指导价值有限或无价值
|
|
|
+示例：
|
|
|
+
|
|
|
+目标"墨镜" vs 结果"配饰大全"（概念过于宽泛）
|
|
|
+目标"美食摄影构图" vs 结果"美食博主日常vlog"
|
|
|
+
|
|
|
+
|
|
|
+
|
|
|
+
|
|
|
+概念层级关系说明
|
|
|
+在评分时，需要注意概念层级关系的影响：
|
|
|
+完全匹配（同一概念 + 同场景）→ 8-10分
|
|
|
+目标"墨镜" vs 结果"墨镜搭配"，且都在时尚搭配场景
|
|
|
+
|
|
|
+
|
|
|
+上位/下位概念（层级差一层）→ 通常6-7分
|
|
|
+目标"墨镜" vs 结果"眼镜搭配"（结果更宽泛，需筛选）
|
|
|
+目标"眼镜" vs 结果"墨镜选购"（结果更具体，部分适用）
|
|
|
+
|
|
|
+
|
|
|
+平行概念（同级不同类）→ 通常6-7分
|
|
|
+目标"墨镜" vs 结果"近视眼镜"（都是眼镜类，但功能场景不同）
|
|
|
+
|
|
|
+
|
|
|
+远距离概念（层级差两层及以上）→ 4分及以下
|
|
|
+目标"墨镜" vs 结果"配饰"（概念过于宽泛，指导性弱）
|
|
|
+
|
|
|
+
|
|
|
+
|
|
|
+
|
|
|
+匹配结论判断
|
|
|
+根据综合得分判定匹配类型：
|
|
|
+
|
|
|
+8.0-10.0分：✅ 完全匹配
|
|
|
+
|
|
|
+判断：找到了目标特征的直接灵感来源
|
|
|
+置信度：高
|
|
|
+建议：直接采纳为该特征的灵感溯源结果
|
|
|
+
|
|
|
+
|
|
|
+5.0-7.9分：⚠️ 相似匹配
|
|
|
+
|
|
|
+判断：找到了相关的灵感参考，但存在一定差异
|
|
|
+置信度：中
|
|
|
+建议：作为候选结果保留，可与其他结果综合判断或继续搜索更精确的匹配
|
|
|
+
|
|
|
+
|
|
|
+1.0-4.9分：❌ 无匹配
|
|
|
+
|
|
|
+判断：该结果与目标特征关联度不足
|
|
|
+置信度：低
|
|
|
+建议：排除该结果，需要调整搜索策略继续寻找
|
|
|
+
|
|
|
+
|
|
|
+
|
|
|
+
|
|
|
+# 输出格式
|
|
|
+通过Query相关性过滤的结果：
|
|
|
+json{{
|
|
|
+ "Query相关性": "相关",
|
|
|
+ "综合得分": 7.0,
|
|
|
+ "匹配类型": "相似匹配",
|
|
|
+ "置信度": "中",
|
|
|
+ "评分说明": "结果'眼镜搭配技巧'是目标'墨镜'的上位概念，内容涵盖多种眼镜类型。场景都是时尚搭配，但需要从结果中筛选出墨镜相关的内容。概念关系：上位概念（宽泛一层）",
|
|
|
+ "关键匹配点": [
|
|
|
+ "眼镜与脸型的搭配原则（部分适用于墨镜）",
|
|
|
+ "配饰的风格选择方法"
|
|
|
+ ]
|
|
|
+}}
|
|
|
+未通过Query相关性过滤的结果：
|
|
|
+json{{
|
|
|
+ "Query相关性": "不相关",
|
|
|
+ "综合得分": 0,
|
|
|
+ "匹配类型": "过滤",
|
|
|
+ "说明": "搜索结果'帽子搭配技巧'与Query'墨镜搭配'完全无关，建议过滤"
|
|
|
+}}
|
|
|
+
|
|
|
+# 特殊情况处理
|
|
|
+
|
|
|
+复合特征评估：如果目标特征是复合型（如"复古滤镜+第一人称视角"），需要分别评估每个子特征的匹配度，然后取算术平均值作为最终得分
|
|
|
+信息不完整：如果OCR提取的图像文字不完整或正文内容缺失，应在说明中注明，并根据实际可获取的信息进行评分
|
|
|
+上位概念的实用性：当结果是目标的上位概念时，评分应考虑：
|
|
|
+
|
|
|
+内容中目标相关部分的占比
|
|
|
+是否提供了可直接应用于目标的知识
|
|
|
+场景的一致性程度
|
|
|
+如果结果虽是上位概念但完全不涉及目标内容，应降至5-6分或更低
|
|
|
+
|
|
|
+
|
|
|
+Query与目标特征的关系：
|
|
|
+如果Query就是目标特征本身，第一层和第二层判断可以合并考虑
|
|
|
+如果Query是为了探索目标特征而构建的更宽泛查询，第一层更宽松，第二层更严格
|
|
|
+
|
|
|
+
|
|
|
+
|
|
|
+只返回JSON，不要其他内容。"""
|
|
|
+
|
|
|
+ # 调用LLM（传递图片URL进行多模态分析）
|
|
|
+ result = self.client.chat_json(
|
|
|
+ prompt=prompt,
|
|
|
+ images=note_images if note_images else None, # ✅ 传递图片
|
|
|
+ max_retries=3
|
|
|
+ )
|
|
|
+
|
|
|
+ if result:
|
|
|
+ # 添加笔记索引
|
|
|
+ result['note_index'] = note_index
|
|
|
+ return result
|
|
|
+ else:
|
|
|
+ logger.error(f" 评估笔记 {note_index} 失败: Query={search_query}")
|
|
|
+ return {
|
|
|
+ "note_index": note_index,
|
|
|
+ "Query相关性": "评估失败",
|
|
|
+ "综合得分": 0,
|
|
|
+ "匹配类型": "评估失败",
|
|
|
+ "说明": "LLM评估失败"
|
|
|
+ }
|
|
|
+
|
|
|
+ def batch_evaluate_notes_with_filter(
|
|
|
+ self,
|
|
|
+ search_query: str,
|
|
|
+ target_feature: str,
|
|
|
+ notes: List[Dict[str, Any]],
|
|
|
+ max_notes: int = 20,
|
|
|
+ max_workers: int = 10
|
|
|
+ ) -> Dict[str, Any]:
|
|
|
+ """
|
|
|
+ 并行评估多个笔记（两层评估）
|
|
|
+
|
|
|
+ Args:
|
|
|
+ search_query: 搜索Query
|
|
|
+ target_feature: 目标特征
|
|
|
+ notes: 笔记列表
|
|
|
+ max_notes: 最多评估几条笔记
|
|
|
+ max_workers: 最大并发数
|
|
|
+
|
|
|
+ Returns:
|
|
|
+ 评估结果汇总（包含统计信息）
|
|
|
+ """
|
|
|
+ if not notes:
|
|
|
+ return {
|
|
|
+ "total_notes": 0,
|
|
|
+ "evaluated_notes": 0,
|
|
|
+ "filtered_count": 0,
|
|
|
+ "statistics": {},
|
|
|
+ "notes_evaluation": []
|
|
|
+ }
|
|
|
+
|
|
|
+ notes_to_eval = notes[:max_notes]
|
|
|
+ evaluated_notes = []
|
|
|
+
|
|
|
+ logger.info(f" 并行评估 {len(notes_to_eval)} 个笔记（{max_workers}并发）")
|
|
|
+
|
|
|
+ # 并发评估每个笔记
|
|
|
+ with ThreadPoolExecutor(max_workers=max_workers) as executor:
|
|
|
+ futures = []
|
|
|
+ for idx, note in enumerate(notes_to_eval):
|
|
|
+ note_card = note.get('note_card', {})
|
|
|
+ title = note_card.get('display_title', '')
|
|
|
+ content = note_card.get('desc', '')
|
|
|
+ images = note_card.get('image_list', [])
|
|
|
+
|
|
|
+ future = executor.submit(
|
|
|
+ self.evaluate_note_with_filter,
|
|
|
+ search_query,
|
|
|
+ target_feature,
|
|
|
+ title,
|
|
|
+ content,
|
|
|
+ images,
|
|
|
+ idx
|
|
|
+ )
|
|
|
+ futures.append(future)
|
|
|
+
|
|
|
+ # 收集结果
|
|
|
+ for future in as_completed(futures):
|
|
|
+ try:
|
|
|
+ result = future.result()
|
|
|
+ evaluated_notes.append(result)
|
|
|
+ except Exception as e:
|
|
|
+ logger.error(f" 评估笔记失败: {e}")
|
|
|
+
|
|
|
+ # 按note_index排序
|
|
|
+ evaluated_notes.sort(key=lambda x: x.get('note_index', 0))
|
|
|
+
|
|
|
+ # 统计信息
|
|
|
+ total_notes = len(notes)
|
|
|
+ evaluated_count = len(evaluated_notes)
|
|
|
+ filtered_count = sum(1 for n in evaluated_notes if n.get('Query相关性') == '不相关')
|
|
|
+
|
|
|
+ # 匹配度分布统计
|
|
|
+ match_distribution = {
|
|
|
+ '完全匹配(8-10)': 0,
|
|
|
+ '相似匹配(6-7)': 0,
|
|
|
+ '弱相似(5-6)': 0,
|
|
|
+ '无匹配(≤4)': 0
|
|
|
+ }
|
|
|
+
|
|
|
+ for note_eval in evaluated_notes:
|
|
|
+ if note_eval.get('Query相关性') == '不相关':
|
|
|
+ continue # 过滤的不计入分布
|
|
|
+
|
|
|
+ score = note_eval.get('综合得分', 0)
|
|
|
+ if score >= 8.0:
|
|
|
+ match_distribution['完全匹配(8-10)'] += 1
|
|
|
+ elif score >= 6.0:
|
|
|
+ match_distribution['相似匹配(6-7)'] += 1
|
|
|
+ elif score >= 5.0:
|
|
|
+ match_distribution['弱相似(5-6)'] += 1
|
|
|
+ else:
|
|
|
+ match_distribution['无匹配(≤4)'] += 1
|
|
|
+
|
|
|
+ logger.info(f" 评估完成: 过滤{filtered_count}条, 匹配分布: {match_distribution}")
|
|
|
+
|
|
|
+ return {
|
|
|
+ "total_notes": total_notes,
|
|
|
+ "evaluated_notes": evaluated_count,
|
|
|
+ "filtered_count": filtered_count,
|
|
|
+ "statistics": match_distribution,
|
|
|
+ "notes_evaluation": evaluated_notes
|
|
|
+ }
|
|
|
+
|
|
|
|
|
|
def test_evaluator():
|
|
|
"""测试评估器"""
|
刘立冬