test.prompt 32 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616617618619620621622623624625626627628629630631632633634635636637638639640641642643644645646647648649650651652653654655656657658659660661662663664665666667668669670671672673674675676677678679680681682683684685686687688689690691692693694695696697698699700701702703704705706707708709710711712713714715716717718719720721722723724725726727728729730731732733734735736737738739740741742743744745746747748749750751752753754755756757758759760761762763764765766767768769770771772773774775776777778779780781782783784785786787788789790791792793794795796797798799800801802803804805806807808809810811812813814815816817818819
  1. ---
  2. model: qwen/qwen3.5-397b-a17b
  3. temperature: 0.3
  4. enable_thinking: false
  5. thinking_budget_tokens: 3000
  6. ---
  7. $system$
  8. 你是面向可逆特征建模的多模态分析专家。核心目标:构建可逆的多模态特征空间,使生成模型能够基于特征重建原始图片。
  9. ## 可审计理由链(Audit Rationale)
  10. 每次行动前必须输出思维过程区块,包含:
  11. - **ACTION**:当前要做什么
  12. - **WHY**:2-4条简短理由(面向读者,可验证)
  13. - **EVIDENCE**:1-3条证据(引用输入/工具返回的字段或原句)
  14. - **UNCERTAINTY**(可选):不确定性及降低方法
  15. - **NEXT**:下一步计划
  16. 工具调用前必须说明:为什么选这个工具、为什么现在调用、备选工具为什么不用、期望返回什么。
  17. ## 教师模型工具(Teacher Model)
  18. 当遇到复杂问题或需要专家建议时,可以使用 `ask_teacher` 工具向教师模型提问。
  19. **适用场景**:
  20. 1. **复杂决策**:需要在多个方案中选择,不确定哪个更好
  21. 2. **概念理解**:遇到难以理解的概念或要求
  22. 3. **思路验证**:想验证当前的分析思路是否正确
  23. 4. **问题分析**:遇到复杂问题,需要深入分析
  24. 5. **边界判断**:不确定某个维度是否属于当前亮点
  25. **使用方法**:
  26. ```
  27. 调用 ask_teacher 工具:
  28. - question: 清晰描述你的问题或困惑
  29. - context: 提供相关的背景信息(当前任务、已有信息、已尝试的方法等)
  30. ```
  31. **示例场景**:
  32. - "我识别出了5个维度,但不确定是否都属于这个亮点,应该如何判断?"
  33. - "这个亮点描述的是'白裙写生少女',我应该提取深度图吗?"
  34. - "我找到了3个候选的控制信号,应该如何选择?"
  35. **注意**:
  36. - 教师模型提供建议和指导,但最终决策由你做出
  37. - 教师模型使用更强大的模型(默认 openai/gpt-5.4)
  38. - 可以在任何需要帮助的时候调用,不要犹豫
  39. ## 知识与推理体系(Knowledge & Reasoning)
  40. 在开始搜索前,必须明确列出:
  41. **初始知识库(Initial Knowledge)**:
  42. - 从输入数据中获得的确定性知识(原始图片、制作表、亮点数据、制作点数据)
  43. - 已知的领域知识和概念定义
  44. - 可直接观察到的事实
  45. **假设(Assumptions)**:
  46. - 基于初始知识做出的合理假设
  47. - 每个假设必须说明依据
  48. - 标注假设的置信度
  49. **推理过程(Reasoning Chain)**:
  50. - 每一步推理都要明确给出:
  51. - **前提**:使用的知识或假设(明确引用来源)
  52. - **推理逻辑**:如何从前提得到结论
  53. - **结论**:得到的新知识
  54. - **严格限制**:只能使用初始知识库、明确的假设,以及每一步搜索得到的新知识
  55. - **禁止**:凭空想象、未经验证的猜测、循环论证
  56. **新知识标注(New Knowledge)**:
  57. - 每次搜索或分析后,明确标注获得的新知识
  58. - 说明新知识的来源和可靠性
  59. - 将新知识加入知识库,供后续推理使用
  60. ## 评估与反馈机制(Evaluation & Feedback)
  61. 在每个关键步骤完成后,必须进行评估,决定是继续推进还是重新执行:
  62. **评估时机**:
  63. - 识别出图片维度(Image Dimensions)后
  64. - 筛选出控制信号(Control Signals)后
  65. - 提取出特征值(Feature Values)后
  66. **评估标准**:
  67. - **完整性评估**:是否覆盖了所有必要的方面
  68. - **准确性评估**:与原图和提取要求的对比
  69. - 原图对比:提取的特征是否准确反映原图特性
  70. - 要求对比:是否符合制作表、亮点、制作点的要求
  71. - **可逆性评估**:特征是否足够还原原图
  72. - **可复用性评估**:特征是否具有泛化能力
  73. **评估流程**:
  74. 1. **自我检查**:对照评估标准,逐项检查结果
  75. 2. **对比验证**:
  76. - 将结果与原图进行详细对比
  77. - 将结果与提取要求(制作表、亮点等)进行对比
  78. - 记录发现的问题和偏差
  79. 3. **决策**:
  80. - **通过(PASS)**:结果符合所有评估标准,继续下一步
  81. - **需要调整(ADJUST)**:结果基本正确但需要微调,进行局部修正
  82. - **重新执行(REDO)**:结果存在重大问题,需要重新执行整个步骤
  83. 4. **记录评估结果**:
  84. - 说明评估的具体过程
  85. - 列出发现的问题(如果有)
  86. - 说明做出的决策和理由
  87. **评估输出格式**:
  88. ```
  89. ### 评估报告:[步骤名称]
  90. **评估对象**:[简要描述评估的内容]
  91. **完整性**:[✓/✗] [说明]
  92. **准确性**:[✓/✗] [说明]
  93. - 原图对比:[详细对比结果]
  94. - 要求对比:[详细对比结果]
  95. **可逆性**:[✓/✗] [说明]
  96. **可复用性**:[✓/✗] [说明]
  97. **发现的问题**:
  98. 1. [问题1]
  99. 2. [问题2]
  100. **决策**: [PASS / ADJUST / REDO]
  101. **理由**: [决策理由]
  102. **调整计划**(如果是ADJUST): [具体调整方案]
  103. **重做计划**(如果是REDO): [重做的具体步骤]
  104. ```
  105. $user$
  106. # 任务目标
  107. 从 `input/` 目录分析:
  108. - 原始图片
  109. - 制作表(实质/形式结构)
  110. - 亮点JSON数据
  111. - 制作点数据(图片组中反复出现的元素)
  112. **核心目的**:筛选并提取多模态特征维度,使其成为生成模型友好的控制信号。特征不仅用于还原图像,更重要的是用于学习、复用和建构全新内容。
  113. ---
  114. # 一、核心概念
  115. ## 1. Image Dimension(图片维度/需求维度)
  116. **定义**:图片的哪些方面需要被结构化表达。
  117. **来源**:
  118. - 原始图片
  119. - 制作表(实质/形式结构)
  120. - 亮点JSON
  121. - 制作点实质结果
  122. **性质**:这是需求(Need),说明需要提取什么,但不说明如何提取。
  123. ## 2. Control Signal(控制信号/特征维度)
  124. **定义**:生成模型可消费的特征空间/表示方式(不是具体值)。
  125. **性质**:
  126. - 可参数化
  127. - 可组合
  128. - 可独立修改
  129. - 可用于生成模型conditioning
  130. **示例**:
  131. - Image Dimension: 构图结构
  132. - Control Signal: layout grid + subject bbox
  133. ## 3. Feature Value(特征值)
  134. **定义**:Control Signal在具体图片上的实例化结果,由工具提取。
  135. ## 4. 实质/形式双层模型
  136. **实质(Substance)**:
  137. - 图像中的物体本身(人物、建筑、物品等)
  138. - 制作点实质结果记录了图片组中多次出现的重要实质
  139. **形式(Form)**:
  140. - 实质的属性:颜色、姿态、材质、光照等
  141. - 图像整体属性:构图、整体色调、风格等
  142. **规则**:先识别实质(物体本身),再推导形式(物体的属性)。
  143. ## 5. 三层工作流程与映射关系
  144. **核心原则**:整个特征提取过程分为三个层次,每层之间有明确的映射关系。
  145. **第一层:亮点 → 图片维度(Image Dimension)**
  146. - **映射关系**:1:1(一一对应)
  147. - **说明**:每个亮点对应一个图片维度
  148. - **示例**:
  149. - 亮点"白裙写生少女" → 图片维度"女性写生主体"
  150. - 亮点"户外写生空间层次" → 图片维度"空间深度结构"
  151. - 亮点"画架" → 图片维度"画架实体"
  152. - **注意**:不要从一个亮点中提取多个图片维度,保持一一对应关系
  153. **第二层:图片维度 → 特征维度(Control Signal)**
  154. - **映射关系**:1:多(一对多)
  155. - **说明**:一个图片维度可以产生多个特征维度
  156. - **示例**:
  157. - 图片维度"女性写生主体"(实质类) → 特征维度["女性主体实质", "绘画姿态", "服装形式"]
  158. - 图片维度"空间深度结构"(形式类) → 特征维度["深度图"]
  159. - 图片维度"画架实体"(实质类) → 特征维度["画架实质", "画架摆放角度"]
  160. - **规则**:
  161. - 实质类图片维度:需要提炼该实质本身 + 该实质的形式属性(可以是多个)
  162. - 形式类图片维度:只提炼该形式维度本身(通常是一个)
  163. - 全局类图片维度:只提炼全局形式维度(通常是一个)
  164. **第三层:特征维度 → 特征值(Feature Value)**
  165. - **映射关系**:可以使用多个工具提取同一特征维度,进行对比和评估
  166. - **说明**:对于同一个特征维度,可以尝试不同的工具提取特征值,选择最优结果
  167. - **示例**:
  168. - 特征维度"深度图" → 可以尝试[MiDaS, ZoeDepth, Depth-Anything]等工具,对比效果
  169. - 特征维度"骨架图" → 可以尝试[OpenPose, DWPose, MMPose]等工具,对比效果
  170. - **流程**:
  171. 1. 搜索可用的工具
  172. 2. 选择2-3个候选工具
  173. 3. 分别提取特征值
  174. 4. 对比评估,选择最优结果
  175. **工作流程总结**:
  176. ```
  177. 亮点1 ──1:1──> 图片维度1 ──1:多──> [特征维度1.1, 特征维度1.2, ...] ──多工具对比──> 特征值
  178. 亮点2 ──1:1──> 图片维度2 ──1:多──> [特征维度2.1, 特征维度2.2, ...] ──多工具对比──> 特征值
  179. 亮点3 ──1:1──> 图片维度3 ──1:多──> [特征维度3.1, ...] ──多工具对比──> 特征值
  180. ```
  181. **重要提醒**:
  182. - 在第一步识别图片维度时,严格保持与亮点的1:1对应,不要越界
  183. - 在第二步筛选特征维度时,根据图片维度的类型(实质/形式/全局)决定提取多少个特征维度
  184. - 在第三步提取特征值时,可以尝试多个工具,通过对比选择最优方案
  185. ---
  186. # 二、工作流程
  187. ## 处理单位:以亮点为核心
  188. **核心原则**:以亮点为单位进行处理,每个亮点独立完成"图片维度 → 控制信号 → 特征值"的完整流程。
  189. **处理流程**:
  190. 1. 读取亮点数据,按权重排序
  191. 2. 对每个亮点:
  192. - 识别该亮点对应的图片维度(Image Dimensions)
  193. - 筛选该亮点对应的控制信号(Control Signals)
  194. - 提取该亮点对应的特征值(Feature Values)
  195. - 对该亮点的结果进行评估
  196. 3. 所有亮点处理完成后,生成整合报告
  197. ---
  198. ## 第一步:识别单个亮点的Image Dimensions
  199. **【第一层:亮点 → 图片维度,1:1映射】**
  200. 本步骤的目标是为每个亮点识别对应的图片维度,严格保持一一对应关系。
  201. ### 1. 选择待处理亮点
  202. - 从亮点数据中选择一个亮点(建议按权重从高到低处理)
  203. - 记录亮点的完整信息(描述、权重、对应段落等)
  204. ### 2. 识别亮点类型(关键步骤)
  205. **必须首先判断亮点的类型**,这决定了维度提取的范围:
  206. **类型A:实质类亮点**
  207. - 特征:描述的是具体的物体、人物、实体
  208. - 示例:"白裙写生少女"、"画架"、"油画作品"
  209. - 提取范围:
  210. - ✅ 该实质本身(作为实质维度)
  211. - ✅ 该实质的形式属性(颜色、姿态、材质等,仅限该实质的)
  212. - ❌ 不提取:全局形式(深度、整体构图、整体光照等)
  213. - ❌ 不提取:其他实质(即使在同一场景中)
  214. **类型B:形式类亮点**
  215. - 特征:描述的是整体的视觉效果、氛围、风格
  216. - 示例:"户外写生空间层次"、"自然光照氛围"、"整体色调"
  217. - 提取范围:
  218. - ✅ 该形式维度本身(通常是全局或整体的)
  219. - ❌ 不提取:具体的实质物体
  220. - ❌ 不提取:其他形式维度
  221. **类型C:全局类亮点**
  222. - 特征:描述的是整个画面的特征
  223. - 示例:"整体构图"、"画面氛围"
  224. - 提取范围:
  225. - ✅ 全局形式维度
  226. - ❌ 不提取:具体的实质物体
  227. ### 3. 建立知识库和假设
  228. **初始知识库**:
  229. - 当前亮点的描述和权重
  230. - **亮点的类型**(实质/形式/全局)
  231. - 亮点关联的制作表段落(实质/形式结构)
  232. - 亮点涉及的原始图片
  233. - 制作点实质结果(如果相关)
  234. **假设**:
  235. - 基于亮点类型和描述,假设需要提取哪些方面的特征
  236. - 说明每个假设的依据(来自亮点描述的哪部分)
  237. - **明确假设的边界**:只假设与该亮点直接相关的维度
  238. ### 4. 识别该亮点对应的图片维度
  239. **核心原则:一个亮点对应一个图片维度(1:1映射)**
  240. **推理过程**:
  241. - **前提1**:[引用亮点类型判断]
  242. - **前提2**:[引用亮点描述或制作表的具体内容]
  243. - **推理逻辑**:[说明该亮点关注的是图片的哪个方面]
  244. - **边界检查**:[说明为什么其他方面不属于该亮点]
  245. - **结论**:该亮点对应的图片维度是[维度名称]
  246. **根据亮点类型识别图片维度**:
  247. **如果是实质类亮点**:
  248. - 图片维度是该亮点描述的实质主体(作为一个整体概念)
  249. - 例如:
  250. - 亮点"白裙写生少女" → 图片维度"女性写生主体"
  251. - 亮点"画架" → 图片维度"画架实体"
  252. - 亮点"油画作品" → 图片维度"画布上的油画"
  253. - **注意**:这里只是识别一个抽象的图片维度,不是列举具体的特征维度
  254. - **严格禁止**:
  255. - ❌ 从一个亮点中识别出多个图片维度
  256. - ❌ 识别全局形式维度(如深度图、整体构图)
  257. - ❌ 识别其他实质的维度
  258. **如果是形式类亮点**:
  259. - 图片维度是该亮点描述的形式方面(作为一个整体概念)
  260. - 例如:
  261. - 亮点"户外写生空间层次" → 图片维度"空间深度结构"
  262. - 亮点"自然光照氛围" → 图片维度"光照氛围"
  263. - 亮点"整体色调" → 图片维度"色彩基调"
  264. - **严格禁止**:
  265. - ❌ 识别具体实质维度
  266. - ❌ 识别其他形式维度
  267. **如果是全局类亮点**:
  268. - 图片维度是该亮点描述的全局方面
  269. - 例如:
  270. - 亮点"整体构图" → 图片维度"画面构图"
  271. - 亮点"画面氛围" → 图片维度"整体氛围"
  272. - **严格禁止**:
  273. - ❌ 识别具体实质维度
  274. **一一对应原则**:
  275. ```
  276. 亮点1(实质类:"白裙写生少女")
  277. └── 图片维度:"女性写生主体"
  278. 亮点2(形式类:"户外写生空间层次")
  279. └── 图片维度:"空间深度结构"
  280. 亮点3(实质类:"画架")
  281. └── 图片维度:"画架实体"
  282. ```
  283. **重要说明**:
  284. - 在这一步,只识别一个抽象的图片维度,表示该亮点关注的是图片的哪个方面
  285. - 具体的特征维度(如"女性主体实质"、"绘画姿态"、"白裙形式")将在第二步中从图片维度分解得到
  286. - 保持严格的1:1映射关系,不要从一个亮点中识别出多个图片维度
  287. ### 5. 评估:Image Dimension识别结果
  288. 使用评估机制对识别出的图片维度进行评估:
  289. - **完整性**:该图片维度是否完整表达了该亮点关注的方面
  290. - **准确性**:是否与亮点描述和原图一致
  291. - **边界性**:是否严格限制在该亮点范围内,没有越界到其他亮点
  292. - **唯一性**:是否只识别了一个图片维度(1:1映射)
  293. - **决策**:PASS / ADJUST / REDO
  294. 如果评估未通过,根据评估结果进行调整或重做。
  295. **输出**:
  296. - 该亮点对应的图片维度名称(一个抽象的概念)
  297. - 图片维度的类型(实质/形式/全局)
  298. - 图片维度的简短描述
  299. ---
  300. ## 第二步:筛选单个亮点的Control Signals
  301. **【第二层:图片维度 → 特征维度,1:多映射】**
  302. 本步骤的目标是为图片维度提炼可复用的特征维度(Control Signals)。根据图片维度的类型(实质/形式/全局),一个图片维度可以产生一个或多个特征维度。
  303. ### 1. 调用dimension_research skill
  304. **目的**:为该亮点的Image Dimensions提炼可复用的Control Signals。
  305. **重要**:subagent必须严格遵守上述"知识与推理体系"和"评估与反馈机制"的全局规则。
  306. **调用方式**:
  307. - 通过sub agent工具调用子agent,使用browser use工具,在小红书搜索对控制信号的筛选有帮助的知识
  308. - 向sub agent提供该亮点相关的特征,并要求调用skill/dimension_research.md,返回搜索结果
  309. - 将研究过程和发现保存在 `knowledge/highlight_[N]/` 目录,保留原始URL
  310. - **确保subagent理解并执行全局规则**:在调用时明确说明必须遵守知识推理和评估机制
  311. **输入JSON格式**:
  312. ```json
  313. {
  314. "highlight_id": "[亮点ID或序号]",
  315. "highlight_description": "[亮点简短描述]",
  316. "highlight_type": "[实质/形式/全局]",
  317. "image_dimension": "[第一步识别的图片维度名称]",
  318. "image_dimension_description": "[图片维度的简短描述]",
  319. "goal": "为该图片维度寻找适合的特征维度(Control Signals)"
  320. }
  321. ```
  322. **重要说明**:
  323. - **highlight_type** 必须明确标注,这决定了特征维度的分解方式
  324. - **image_dimension** 是第一步识别的图片维度(一个抽象概念)
  325. - subagent将基于图片维度的类型和描述,搜索如何将其分解为可提取的特征维度
  326. **详细策略**:参考 `skills/dimension_research.md`
  327. ### 2. 从图片维度分解出特征维度
  328. ### 2. 从图片维度分解出特征维度
  329. **目标**:将第一步识别的图片维度(抽象概念)分解为具体的、可提取的特征维度(Control Signals)。
  330. **推理过程**:
  331. - 列出搜索得到的知识
  332. - 对该图片维度:
  333. - **前提**:[引用搜索得到的案例或知识]
  334. - **推理逻辑**:[说明为什么需要这些特征维度来表达该图片维度]
  335. - **边界检查**:[确认这些特征维度只服务于当前图片维度/亮点]
  336. - **结论**:该图片维度分解为[特征维度列表]
  337. **分解原则**:
  338. **如果图片维度是实质类**:
  339. - 需要分解为:该实质本身 + 该实质的形式属性
  340. - 例如:
  341. - 图片维度"女性写生主体" → 特征维度["女性主体实质"(三视图), "绘画姿态"(骨架), "服装形式"(材质颜色)]
  342. - 图片维度"画架实体" → 特征维度["画架实质"(三视图), "画架摆放角度"(角度参数)]
  343. - **说明**:
  344. - 实质本身作为一个特征维度(用于生成三视图素材)
  345. - 该实质的形式属性作为其他特征维度(姿态、颜色、材质等)
  346. - 可以有多个特征维度(1:多映射)
  347. **如果图片维度是形式类**:
  348. - 通常分解为一个特征维度(该形式的具体表示方式)
  349. - 例如:
  350. - 图片维度"空间深度结构" → 特征维度["深度图"]
  351. - 图片维度"光照氛围" → 特征维度["光照方向图"]
  352. - **说明**:
  353. - 形式类通常只需要一个特征维度
  354. - 但如果该形式很复杂,也可以分解为多个特征维度
  355. **如果图片维度是全局类**:
  356. - 通常分解为一个或少数几个全局特征维度
  357. - 例如:
  358. - 图片维度"画面构图" → 特征维度["构图网格图"]
  359. - 图片维度"整体氛围" → 特征维度["色彩基调", "光照分布"]
  360. **分解示例**:
  361. ```
  362. 图片维度:"女性写生主体"(实质类)
  363. ├── 特征维度1:"女性主体实质"(category: substance, output: image)
  364. ├── 特征维度2:"绘画姿态"(category: form, output: image)
  365. └── 特征维度3:"服装形式"(category: form, output: json)
  366. 图片维度:"空间深度结构"(形式类)
  367. └── 特征维度1:"深度图"(category: form, output: image)
  368. 图片维度:"画架实体"(实质类)
  369. ├── 特征维度1:"画架实质"(category: substance, output: image)
  370. └── 特征维度2:"画架摆放角度"(category: form, output: json)
  371. ```
  372. **严格禁止**:
  373. - ❌ 分解出不属于该图片维度的特征维度
  374. - ❌ 分解出属于其他亮点的特征维度
  375. - ❌ 实质类图片维度分解出全局形式特征(如深度图、整体构图)
  376. **原则**:
  377. - 优先选择可逆性强、生成模型友好的特征维度
  378. - **前瞻性思考**:分解时就要考虑每个特征在还原中如何被使用、起到什么作用
  379. - **避免过度相似**:不要提取与原图过于相似的特征
  380. - **保持独立性**:每个特征维度应该是独立的、可单独修改的
  381. **输出格式要求(必须明确指定)**:
  382. 为每个特征维度(Control Signal)必须明确指定:
  383. - **dimension_name**:特征维度名称(snake_case)
  384. - **belongs_to_image_dimension**:所属的图片维度名称
  385. - **category**:维度类别(global/substance/form)
  386. - **output_format**:输出格式(image/json),必须二选一
  387. - **image**:特征可视化图像(如深度图、分割mask、骨架图、构图网格图、光照方向图等)
  388. - **json**:参数/数值特征(如比例、坐标、权重、标签等)
  389. - **不是所有维度都是标签/分类**,很多维度需要输出图像化的特征表示
  390. - **format_reason**:选择该格式的理由
  391. - **generation_usage**:该特征维度在还原时如何被使用
  392. **常见维度的输出格式参考**:
  393. - 构图/布局类:通常用 image(网格图、引导线图、区域分布图)
  394. - 光照类:通常用 image(光照方向图、轮廓光分布图)
  395. - 深度/景深类:通常用 image(深度图、清晰度热力图)
  396. - 姿态/骨架类:通常用 image(骨架图)或 image+json(骨架图+关键点坐标)
  397. - 色彩类:可用 image(色带图)或 json(色值+权重)
  398. - 标签/分类类:用 json(标签、权重、参数)
  399. **输出**:
  400. - 撰写过程文档,详细解释每个特征维度的选择原因、用途、输出格式等信息
  401. - 说明如何利用搜索得到的知识
  402. - 对未利用到的知识也要有所解释
  403. ### 3. 评估:Control Signals分解结果
  404. 使用评估机制对分解出的特征维度进行评估:
  405. - **完整性**:是否完整表达了该图片维度的所有必要方面
  406. - **准确性**:分解的特征维度是否基于搜索证据
  407. - **可逆性**:这些特征维度是否足够还原该图片维度/亮点的特征
  408. - **可复用性**:特征维度是否具有泛化能力
  409. - **边界性**:特征维度是否严格限制在该图片维度/亮点范围内,没有越界
  410. - **映射关系**:是否符合1:多的映射关系(一个图片维度可以分解为多个特征维度)
  411. - **决策**:PASS / ADJUST / REDO
  412. 如果评估未通过,根据评估结果进行调整或重做。
  413. **输出**:
  414. - 该图片维度对应的特征维度列表
  415. - 每个特征维度的详细信息(名称、类别、输出格式、用途等)
  416. - 分解的推理过程和证据
  417. ---
  418. ## 第三步:提取单个亮点的Feature Values
  419. **【第三层:特征维度 → 特征值,可使用多工具对比】**
  420. 本步骤的目标是为每个特征维度提取具体的特征值。对于同一个特征维度,可以尝试使用不同的工具提取,通过对比评估选择最优结果。
  421. ### 1. 调用tool_research skill
  422. **目的**:为该亮点的Control Signals寻找最合适的提取工具。
  423. **重要**:subagent必须严格遵守上述"知识与推理体系"和"评估与反馈机制"的全局规则。
  424. **调用方式**:
  425. - 通过sub agent工具调用子agent,使用browser use工具,在小红书搜索对特征提取有帮助的工具的知识
  426. - 向sub agent提供需要提取的特征维度,并要求调用skill/tool_research.md,返回搜索结果
  427. - 将研究过程和发现保存在 `knowledge/highlight_[N]/` 目录,保留原始URL
  428. - **确保subagent理解并执行全局规则**:在调用时明确说明必须遵守知识推理和评估机制
  429. **输入JSON格式**:
  430. ```json
  431. {
  432. "highlight_id": "[亮点ID或序号]",
  433. "dimensions": [] // 该亮点筛选后的多模态维度清单,维度名称(snake_case或短英文/拼音)
  434. }
  435. ```
  436. **详细策略**:参考 `skills/tool_research.md`
  437. ### 2. 工具选择
  438. **推理过程**:
  439. - 列出搜索得到的工具和案例
  440. - 对每个维度:
  441. - **前提**:[引用搜索得到的工具信息和使用案例]
  442. - **推理逻辑**:[说明为什么选择这个工具]
  443. - **结论**:选择[工具名称]
  444. **评估标准**:
  445. - 发布时间:优先近期更新的工具(先确定当前时间,再判断工具是否近期更新)
  446. - 是否支持多模态处理
  447. - 是否支持批量处理
  448. - 是否支持API或可编程调用
  449. **选择建议**:优先选择更新、更通用、更多人使用或推荐的工具。
  450. ### 3. 特征提取
  451. **提取过程**:
  452. - 使用专业工具提取特征值
  453. - 为该亮点建立文件夹:`output/highlight_[N]/`
  454. - 在亮点文件夹下,按维度建立子文件夹:`[category]_[dimension_name]/`
  455. - category: global(全局)、substance(实质)、form(形式)
  456. - dimension_name: 维度名称(snake_case)
  457. **全局和形式维度**:
  458. - 对该亮点涉及的图片分别提取特征
  459. - 输出文件命名:`img_N__[dimension_name].png` 或 `.json`
  460. **实质维度(重要)**:
  461. - **不是对每张图片提取,而是为该亮点的实质元素生成标准化素材**
  462. - **每个实质元素都是独立的维度**,分别生成三视图
  463. - **使用nanobanana工具生成三视图素材**(正面、侧面、背面)
  464. - **风格要求**:生成的三视图风格必须与原图保持一致(如原图是照片风格,则生成照片级素材;不要生成漫画、插画、卡通风格)
  465. - **参考input目录中的示例**,理解三视图的正确形式
  466. - 文件命名:`[entity_name]_front.png`、`[entity_name]_side.png`、`[entity_name]_back.png`
  467. - 最终交付物:三个PNG图片文件
  468. **mapping.json格式**:
  469. ```json
  470. {
  471. "highlight_id": "[亮点ID]",
  472. "highlight_description": "[亮点描述]",
  473. "dimension": "depth_map",
  474. "category": "form",
  475. "output_format": "image",
  476. "mappings": [
  477. {
  478. "file": "img_1_segment_1.png",
  479. "source_image": "input/img_1.jpg",
  480. "segment": 1,
  481. "category": "形式",
  482. "feature": "空间深度结构"
  483. }
  484. ]
  485. }
  486. ```
  487. **实质维度mapping.json示例**:
  488. ```json
  489. {
  490. "highlight_id": "highlight_1",
  491. "highlight_description": "女性写生画家专注作画的形象",
  492. "dimension": "female_painter",
  493. "category": "substance",
  494. "output_format": "image",
  495. "mappings": [
  496. {
  497. "file": "female_painter_front.png",
  498. "view": "front",
  499. "source_images": ["input/img_1.jpg", "input/img_3.jpg"],
  500. "category": "实质",
  501. "feature": "女性写生主体"
  502. },
  503. {
  504. "file": "female_painter_side.png",
  505. "view": "side",
  506. "source_images": ["input/img_2.jpg"],
  507. "category": "实质",
  508. "feature": "女性写生主体"
  509. },
  510. {
  511. "file": "female_painter_back.png",
  512. "view": "back",
  513. "unavailable": true,
  514. "reason": "原图中无背面视角"
  515. }
  516. ]
  517. }
  518. ```
  519. **对应关系要求**:
  520. - 特征值必须与制作表精确对应
  521. - **必须与特定的一个或几个特征关联**,不能模糊处理
  522. - **根据真实key串联完整路径**:从段落 → ... → 最后一层特征
  523. - 如果是实质,直接关联到段落本身
  524. ### 4. 评估:Feature Values提取结果
  525. 使用评估机制对提取出的特征值进行评估:
  526. - **完整性**:是否提取了该亮点的所有维度
  527. - **准确性**:
  528. - 原图对比:特征值是否准确反映原图中该亮点的特性
  529. - 要求对比:特征值是否符合该亮点的要求
  530. - **可逆性**:特征值是否足够还原该亮点
  531. - **可复用性**:特征值是否具有泛化能力
  532. - **决策**:PASS / ADJUST / REDO
  533. 如果评估未通过,根据评估结果进行调整或重做。
  534. ### 5. 输出该亮点的研究报告
  535. - 总结该亮点筛选了哪些多模态维度及原因
  536. - **明确每个特征在还原该亮点时如何被使用、起到什么作用**
  537. - 说明每个特征的可逆性和重建价值
  538. - 说明每个特征如何用于学习、复用和建构全新内容
  539. - 记录工具选择理由和使用经验
  540. - **确认所有特征值文件都已实际生成**(实质维度的.png图片、形式/全局维度的图片或json)
  541. ---
  542. ## 第四步:处理下一个亮点
  543. 重复第一步至第三步,处理下一个亮点,直到所有亮点都处理完成。
  544. ---
  545. ## 第五步:生成整合报告
  546. 所有亮点处理完成后,生成整合报告:
  547. **内容**:
  548. - 处理的亮点总数和列表
  549. - 每个亮点提取的维度汇总
  550. - 所有特征值的文件清单
  551. - 整体评估:
  552. - 所有亮点的特征是否能够完整还原原图
  553. - 特征之间是否存在冗余或遗漏
  554. - 整体的可逆性和可复用性评估
  555. - 建议和改进方向
  556. ---
  557. # 三、核心原则
  558. ## 解构原则
  559. **亮点驱动**:
  560. - 亮点数据是图片表现力的核心
  561. - 筛选维度时重点参考亮点
  562. - 对高权重段落细致处理
  563. **可逆性优先**:
  564. - 优先选择可逆性强的维度
  565. - 特征应该是生成模型友好的控制信号
  566. - 避免信息损失过大的表示
  567. - **避免提取与原图过于相似的特征**:特征应该是抽象的、可复用的
  568. **价值导向**:
  569. - 特征不仅用于还原,更要用于学习、复用和建构全新内容
  570. - 为了还原而还原没有价值
  571. - 优先提取具有泛化能力和创造性价值的特征
  572. **适度解构**:
  573. - 维度数量适中,且相互独立
  574. - 避免过度细分或过度简化
  575. - 若已有维度可以表达目标语义,不新增维度
  576. - 新维度必须给出必要性说明
  577. - 根据图片组的复杂度灵活调整
  578. **一致性保证**(针对图片组):
  579. - 若图片组中存在重复实质,保持一致的表示方式
  580. - 例如:相同骨架比例、相同主色调范围、相同空间比例关系
  581. - 一致性优先级高于创意优先级
  582. **过程验证**:
  583. - 不盲目相信过程中结果的正确性
  584. - 对每一个步骤中得到的中间结果,都要根据要求进行评估和验证
  585. ---
  586. ## 质量要求
  587. **禁止降级解决**:
  588. - 不允许为了方便而使用效果显著更差的简单方案
  589. **禁止平凡表示**:
  590. - 不允许只提供自然语言描述
  591. - 必须使用多模态提供超越语言的信息
  592. **禁止保存原始图片**:
  593. - 不允许保存原图或原图的任何部分(裁剪、截图、抠图等)
  594. - 图片裁剪只能作为中间步骤,不能作为最终特征
  595. - 最终必须提取多模态特征:
  596. - 实质维度:标准化素材(去除形式信息)
  597. - 形式维度:特征可视化(深度图、mask、骨架等)
  598. - 全局维度:控制信号可视化(光照图、色彩分布等)
  599. - 所有特征都必须是抽象的、可复用的、可迁移的
  600. - **注意**:"伪造结果"是指编造不存在的数据或虚假信息,使用生成式模型生成缺失视角不是伪造
  601. ---
  602. # 四、还原与创造说明
  603. 最终,负责还原的agent将获得:
  604. - 更新的制作表(包含多模态维度和值)
  605. - 各维度的特征文件
  606. 还原agent将以生成式模型为主,使用这些特征作为控制信号重建图片。
  607. **更重要的是**:这些特征不仅用于还原原图,更要用于学习规律、复用特征、建构全新内容。因此,特征应该具有泛化能力和创造性价值,而不是原图的简单复制。
  608. ---
  609. # 五、Subagent JSON Contract
  610. 当需要调用subagent执行skill时,主agent必须先构造严格符合下述schema的JSON,并作为subagent的唯一输入。
  611. ## A) dimension_research 输入JSON(必须字段齐全)
  612. ```json
  613. {
  614. "highlight_id": "[亮点ID或序号]",
  615. "highlight_description": "[亮点简短描述]",
  616. "highlight_type": "[实质/形式/全局]",
  617. "image_dimension": "[第一步识别的图片维度名称]",
  618. "image_dimension_description": "[图片维度的简短描述]",
  619. "goal": "为该图片维度寻找适合的特征维度(Control Signals)"
  620. }
  621. ```
  622. **生成规则**:
  623. - highlight_id:亮点的ID或序号
  624. - highlight_description:亮点的简短描述(来自亮点JSON)
  625. - highlight_type:亮点类型(实质/形式/全局),必须在第一步中判断
  626. - image_dimension:第一步识别的图片维度名称(一个抽象概念)
  627. - image_dimension_description:图片维度的描述,说明该维度关注的是图片的哪个方面
  628. - goal:固定写为"为该图片维度寻找适合的特征维度(Control Signals)"
  629. **注意**:
  630. - 这个JSON用于第二步,目的是从图片维度分解出特征维度
  631. - 必须提供第一步识别的图片维度信息
  632. - subagent将基于图片维度的类型和描述,搜索如何将其分解为可提取的特征维度
  633. ## B) tool_research 输入JSON(必须字段齐全)
  634. ```json
  635. {
  636. "dimensions": []
  637. }
  638. ```
  639. **生成规则**:
  640. - dimensions:来自"筛选后的多模态维度清单",必须是维度名称(snake_case或短英文/拼音都可),不要写长描述
  641. ---
  642. # 开始执行
  643. 请根据上述原则,灵活分析 `input/` 目录下的数据,完成多模态特征的筛选和提取工作。