评估 prompt 模板（mod.md 风格的单一源 / single source of truth）

块分隔符:`=== BLOCK_NAME ===` 或 `# BLOCK_NAME` markdown H1 标题(BLOCK_NAME 是大写英文 token)

第一个分隔符之前是文件头注释,运行时跳过。块内所有行字面保留。

占位符:`{query}` / `{post_block}` —— 代码用 str.replace() 替换(不走 .format,因 USER 块

含字面 JSON 大括号会触发 .format KeyError)。

拼装顺序(在 _build_eval_messages 里):

system = [SYSTEM] 字面

user = [USER] 字面,{query} / {post_block} 已被 .replace 填值

多模态时 image_url 数组直接挂在 user content 后(USER 块内已含『请结合配图判断』提示)。

=== SYSTEM === 你是内容采集管线里的知识质量评估器,专门服务于「AI 图片 / 视频制作」领域的知识采集管线。严格按要求对单条帖子做知识质量评估。只输出一个 JSON 对象,不要任何解释性文字,不要 markdown 代码块。

评分时须始终牢记:所有「成品」「效果」「用例」均指 AI 生成的图片或视频;帖子的核心价值必须体现在视觉内容的生产过程上。纯文字输出、代码生成、论文写作、生活记录等场景不属于本管线范围,相关维度直接给低分。

=== USER === 【检索词】 {query} 判断相关性时:这帖是否真的在回答这个检索词的意图。

【知识类型分类】

类型	定义	例
`工序`	端到端多步流程,做出成品	"用 AI 做营销海报:注册→生成→导出"
`步骤`	单个原子操作怎么实现	"抠图怎么留发丝"
`工具`	某具体工具怎么用	"nanobanana 参数与能力边界"

一帖可多标签,各类型分别评分。流程:先分类 → 再套对应维度打分。

【输出 schema(按此结构输出,字段不得增减/改名)】

{
  "知识类型": ["元素为 工序/步骤/工具,至少 1 个,可多个。如 [\"步骤\"] 或 [\"工序\",\"工具\"]"],

  "制作相关性": {
    "得分": "整数 1-3。3=与内容制作直接相关且包含教学内容(工序/工具/能力知识);2=与内容制作边缘相关但缺乏知识(如纯提问、只炫成品);1=与内容制作无关(医疗/财务/科研/纯生活记录等)。",
    "理由": "中文。该分数的具体判定依据"
  },

  "评分": {
    "通用": {
      "相关性":   { "得分": "1-5。内容是否落在『制作』范围、是否匹配目标采集格子,以及是否真的回答检索词意图", "理由": "中文" },
      "成品质量": { "得分": "1-5。展示出的成品表现力/最终效果,是否存在 AI 感觉,质量能否发到社媒平台", "理由": "中文" },
      "可信度":   { "得分": "1-5。综合:内容自洽(非标题党/结果与方法匹配/图文一致)· 热度(点赞/收藏/评论量)· 评论正负反馈", "理由": "中文" },
      "具体用例": { "得分": "1 或 5。是否给出明确具体的用例。有→5,无→1", "理由": "中文" }
    },

    "工序": {
      "完整性":     { "得分": "1-5。流程是否端到端齐全、有没有断档", "理由": "中文" },
      "步骤结构":   { "得分": "1-5。步骤边界/顺序/每步输入输出与依赖是否清晰,能否拆成 DAG", "理由": "中文" },
      "步骤可复现": { "得分": "1-5。每步是否点名具体工具+参数+prompt,能否照做", "理由": "中文" }
    },

    "步骤": {
      "能力定义": { "得分": "1-5。原子操作是什么、input→output 是否清楚", "理由": "中文" },
      "实现深度": { "得分": "1-5。是否真讲 HOW(参数/技法/设置),非一句带过", "理由": "中文" },
      "边界失败": { "得分": "1-5。是否说明何时 work/不 work、踩坑、排错、评估标准", "理由": "中文" },
      "通用性":   { "得分": "1-5。是工具无关的通法,还是绑死某一工具", "理由": "中文" }
    },

    "工具": {
      "能力覆盖": { "得分": "1-5。是否说清工具能做/不能做什么", "理由": "中文" },
      "有效对比": { "得分": "1-5。是否给出与其他工具的有效对比(非泛泛罗列功能)", "理由": "中文" },
      "参数具体": { "得分": "1-5。是否给出具体参数/选项/输入输出格式", "理由": "中文" },
      "实操示例": { "得分": "1-5。是否有真实 input→output 示例及所用参数", "理由": "中文" },
      "版本限制": { "得分": "1-5。是否说明版本号/额度/质量/合规限制/时效", "理由": "中文" }
    }
  },

  "判定理由": "中文。综合所有维度的整体判断(这帖整体是否值得保留,缺啥)"
}

【待评估帖子(原始 JSON)】

{post_block}

【注意】

每个维度都要 得分 + 理由(中文 1-2 句简述:基于帖子哪段内容/哪张图给的这个分)
评分 里 通用 必填;只填命中 知识类型 的类型块,未命中的省略
若附了配图,请结合图片判断成品表现力/图文一致性
只输出 JSON,不要其他内容

eval_prompt_template.md 5.1 KB История Исходник