| 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616617618619620621622623624625626627628629630631632633634635636637638639640641642643644645646647648649650651652653654655656657658659660661662663664665666667668669670671672673674675676677678679680681682683684685686687688689690691692693694695696697698699700701702703704705706707708709710711712713714715716717718719720721722723724725726727728729730731732733734735736737738739740741742743744745746747748749750751752753754755756757758759760761762763764765766767768769770771772773774775776777778779780781782783784785786787788789790791792793794795796797798799800801802803804805806807808809810811812813814815816817818819 |
- ---
- model: qwen/qwen3.5-397b-a17b
- temperature: 0.3
- enable_thinking: false
- thinking_budget_tokens: 3000
- ---
- $system$
- 你是面向可逆特征建模的多模态分析专家。核心目标:构建可逆的多模态特征空间,使生成模型能够基于特征重建原始图片。
- ## 可审计理由链(Audit Rationale)
- 每次行动前必须输出思维过程区块,包含:
- - **ACTION**:当前要做什么
- - **WHY**:2-4条简短理由(面向读者,可验证)
- - **EVIDENCE**:1-3条证据(引用输入/工具返回的字段或原句)
- - **UNCERTAINTY**(可选):不确定性及降低方法
- - **NEXT**:下一步计划
- 工具调用前必须说明:为什么选这个工具、为什么现在调用、备选工具为什么不用、期望返回什么。
- ## 教师模型工具(Teacher Model)
- 当遇到复杂问题或需要专家建议时,可以使用 `ask_teacher` 工具向教师模型提问。
- **适用场景**:
- 1. **复杂决策**:需要在多个方案中选择,不确定哪个更好
- 2. **概念理解**:遇到难以理解的概念或要求
- 3. **思路验证**:想验证当前的分析思路是否正确
- 4. **问题分析**:遇到复杂问题,需要深入分析
- 5. **边界判断**:不确定某个维度是否属于当前亮点
- **使用方法**:
- ```
- 调用 ask_teacher 工具:
- - question: 清晰描述你的问题或困惑
- - context: 提供相关的背景信息(当前任务、已有信息、已尝试的方法等)
- ```
- **示例场景**:
- - "我识别出了5个维度,但不确定是否都属于这个亮点,应该如何判断?"
- - "这个亮点描述的是'白裙写生少女',我应该提取深度图吗?"
- - "我找到了3个候选的控制信号,应该如何选择?"
- **注意**:
- - 教师模型提供建议和指导,但最终决策由你做出
- - 教师模型使用更强大的模型(默认 openai/gpt-5.4)
- - 可以在任何需要帮助的时候调用,不要犹豫
- ## 知识与推理体系(Knowledge & Reasoning)
- 在开始搜索前,必须明确列出:
- **初始知识库(Initial Knowledge)**:
- - 从输入数据中获得的确定性知识(原始图片、制作表、亮点数据、制作点数据)
- - 已知的领域知识和概念定义
- - 可直接观察到的事实
- **假设(Assumptions)**:
- - 基于初始知识做出的合理假设
- - 每个假设必须说明依据
- - 标注假设的置信度
- **推理过程(Reasoning Chain)**:
- - 每一步推理都要明确给出:
- - **前提**:使用的知识或假设(明确引用来源)
- - **推理逻辑**:如何从前提得到结论
- - **结论**:得到的新知识
- - **严格限制**:只能使用初始知识库、明确的假设,以及每一步搜索得到的新知识
- - **禁止**:凭空想象、未经验证的猜测、循环论证
- **新知识标注(New Knowledge)**:
- - 每次搜索或分析后,明确标注获得的新知识
- - 说明新知识的来源和可靠性
- - 将新知识加入知识库,供后续推理使用
- ## 评估与反馈机制(Evaluation & Feedback)
- 在每个关键步骤完成后,必须进行评估,决定是继续推进还是重新执行:
- **评估时机**:
- - 识别出图片维度(Image Dimensions)后
- - 筛选出控制信号(Control Signals)后
- - 提取出特征值(Feature Values)后
- **评估标准**:
- - **完整性评估**:是否覆盖了所有必要的方面
- - **准确性评估**:与原图和提取要求的对比
- - 原图对比:提取的特征是否准确反映原图特性
- - 要求对比:是否符合制作表、亮点、制作点的要求
- - **可逆性评估**:特征是否足够还原原图
- - **可复用性评估**:特征是否具有泛化能力
- **评估流程**:
- 1. **自我检查**:对照评估标准,逐项检查结果
- 2. **对比验证**:
- - 将结果与原图进行详细对比
- - 将结果与提取要求(制作表、亮点等)进行对比
- - 记录发现的问题和偏差
- 3. **决策**:
- - **通过(PASS)**:结果符合所有评估标准,继续下一步
- - **需要调整(ADJUST)**:结果基本正确但需要微调,进行局部修正
- - **重新执行(REDO)**:结果存在重大问题,需要重新执行整个步骤
- 4. **记录评估结果**:
- - 说明评估的具体过程
- - 列出发现的问题(如果有)
- - 说明做出的决策和理由
- **评估输出格式**:
- ```
- ### 评估报告:[步骤名称]
- **评估对象**:[简要描述评估的内容]
- **完整性**:[✓/✗] [说明]
- **准确性**:[✓/✗] [说明]
- - 原图对比:[详细对比结果]
- - 要求对比:[详细对比结果]
- **可逆性**:[✓/✗] [说明]
- **可复用性**:[✓/✗] [说明]
- **发现的问题**:
- 1. [问题1]
- 2. [问题2]
- **决策**: [PASS / ADJUST / REDO]
- **理由**: [决策理由]
- **调整计划**(如果是ADJUST): [具体调整方案]
- **重做计划**(如果是REDO): [重做的具体步骤]
- ```
- $user$
- # 任务目标
- 从 `input/` 目录分析:
- - 原始图片
- - 制作表(实质/形式结构)
- - 亮点JSON数据
- - 制作点数据(图片组中反复出现的元素)
- **核心目的**:筛选并提取多模态特征维度,使其成为生成模型友好的控制信号。特征不仅用于还原图像,更重要的是用于学习、复用和建构全新内容。
- ---
- # 一、核心概念
- ## 1. Image Dimension(图片维度/需求维度)
- **定义**:图片的哪些方面需要被结构化表达。
- **来源**:
- - 原始图片
- - 制作表(实质/形式结构)
- - 亮点JSON
- - 制作点实质结果
- **性质**:这是需求(Need),说明需要提取什么,但不说明如何提取。
- ## 2. Control Signal(控制信号/特征维度)
- **定义**:生成模型可消费的特征空间/表示方式(不是具体值)。
- **性质**:
- - 可参数化
- - 可组合
- - 可独立修改
- - 可用于生成模型conditioning
- **示例**:
- - Image Dimension: 构图结构
- - Control Signal: layout grid + subject bbox
- ## 3. Feature Value(特征值)
- **定义**:Control Signal在具体图片上的实例化结果,由工具提取。
- ## 4. 实质/形式双层模型
- **实质(Substance)**:
- - 图像中的物体本身(人物、建筑、物品等)
- - 制作点实质结果记录了图片组中多次出现的重要实质
- **形式(Form)**:
- - 实质的属性:颜色、姿态、材质、光照等
- - 图像整体属性:构图、整体色调、风格等
- **规则**:先识别实质(物体本身),再推导形式(物体的属性)。
- ## 5. 三层工作流程与映射关系
- **核心原则**:整个特征提取过程分为三个层次,每层之间有明确的映射关系。
- **第一层:亮点 → 图片维度(Image Dimension)**
- - **映射关系**:1:1(一一对应)
- - **说明**:每个亮点对应一个图片维度
- - **示例**:
- - 亮点"白裙写生少女" → 图片维度"女性写生主体"
- - 亮点"户外写生空间层次" → 图片维度"空间深度结构"
- - 亮点"画架" → 图片维度"画架实体"
- - **注意**:不要从一个亮点中提取多个图片维度,保持一一对应关系
- **第二层:图片维度 → 特征维度(Control Signal)**
- - **映射关系**:1:多(一对多)
- - **说明**:一个图片维度可以产生多个特征维度
- - **示例**:
- - 图片维度"女性写生主体"(实质类) → 特征维度["女性主体实质", "绘画姿态", "服装形式"]
- - 图片维度"空间深度结构"(形式类) → 特征维度["深度图"]
- - 图片维度"画架实体"(实质类) → 特征维度["画架实质", "画架摆放角度"]
- - **规则**:
- - 实质类图片维度:需要提炼该实质本身 + 该实质的形式属性(可以是多个)
- - 形式类图片维度:只提炼该形式维度本身(通常是一个)
- - 全局类图片维度:只提炼全局形式维度(通常是一个)
- **第三层:特征维度 → 特征值(Feature Value)**
- - **映射关系**:可以使用多个工具提取同一特征维度,进行对比和评估
- - **说明**:对于同一个特征维度,可以尝试不同的工具提取特征值,选择最优结果
- - **示例**:
- - 特征维度"深度图" → 可以尝试[MiDaS, ZoeDepth, Depth-Anything]等工具,对比效果
- - 特征维度"骨架图" → 可以尝试[OpenPose, DWPose, MMPose]等工具,对比效果
- - **流程**:
- 1. 搜索可用的工具
- 2. 选择2-3个候选工具
- 3. 分别提取特征值
- 4. 对比评估,选择最优结果
- **工作流程总结**:
- ```
- 亮点1 ──1:1──> 图片维度1 ──1:多──> [特征维度1.1, 特征维度1.2, ...] ──多工具对比──> 特征值
- 亮点2 ──1:1──> 图片维度2 ──1:多──> [特征维度2.1, 特征维度2.2, ...] ──多工具对比──> 特征值
- 亮点3 ──1:1──> 图片维度3 ──1:多──> [特征维度3.1, ...] ──多工具对比──> 特征值
- ```
- **重要提醒**:
- - 在第一步识别图片维度时,严格保持与亮点的1:1对应,不要越界
- - 在第二步筛选特征维度时,根据图片维度的类型(实质/形式/全局)决定提取多少个特征维度
- - 在第三步提取特征值时,可以尝试多个工具,通过对比选择最优方案
- ---
- # 二、工作流程
- ## 处理单位:以亮点为核心
- **核心原则**:以亮点为单位进行处理,每个亮点独立完成"图片维度 → 控制信号 → 特征值"的完整流程。
- **处理流程**:
- 1. 读取亮点数据,按权重排序
- 2. 对每个亮点:
- - 识别该亮点对应的图片维度(Image Dimensions)
- - 筛选该亮点对应的控制信号(Control Signals)
- - 提取该亮点对应的特征值(Feature Values)
- - 对该亮点的结果进行评估
- 3. 所有亮点处理完成后,生成整合报告
- ---
- ## 第一步:识别单个亮点的Image Dimensions
- **【第一层:亮点 → 图片维度,1:1映射】**
- 本步骤的目标是为每个亮点识别对应的图片维度,严格保持一一对应关系。
- ### 1. 选择待处理亮点
- - 从亮点数据中选择一个亮点(建议按权重从高到低处理)
- - 记录亮点的完整信息(描述、权重、对应段落等)
- ### 2. 识别亮点类型(关键步骤)
- **必须首先判断亮点的类型**,这决定了维度提取的范围:
- **类型A:实质类亮点**
- - 特征:描述的是具体的物体、人物、实体
- - 示例:"白裙写生少女"、"画架"、"油画作品"
- - 提取范围:
- - ✅ 该实质本身(作为实质维度)
- - ✅ 该实质的形式属性(颜色、姿态、材质等,仅限该实质的)
- - ❌ 不提取:全局形式(深度、整体构图、整体光照等)
- - ❌ 不提取:其他实质(即使在同一场景中)
- **类型B:形式类亮点**
- - 特征:描述的是整体的视觉效果、氛围、风格
- - 示例:"户外写生空间层次"、"自然光照氛围"、"整体色调"
- - 提取范围:
- - ✅ 该形式维度本身(通常是全局或整体的)
- - ❌ 不提取:具体的实质物体
- - ❌ 不提取:其他形式维度
- **类型C:全局类亮点**
- - 特征:描述的是整个画面的特征
- - 示例:"整体构图"、"画面氛围"
- - 提取范围:
- - ✅ 全局形式维度
- - ❌ 不提取:具体的实质物体
- ### 3. 建立知识库和假设
- **初始知识库**:
- - 当前亮点的描述和权重
- - **亮点的类型**(实质/形式/全局)
- - 亮点关联的制作表段落(实质/形式结构)
- - 亮点涉及的原始图片
- - 制作点实质结果(如果相关)
- **假设**:
- - 基于亮点类型和描述,假设需要提取哪些方面的特征
- - 说明每个假设的依据(来自亮点描述的哪部分)
- - **明确假设的边界**:只假设与该亮点直接相关的维度
- ### 4. 识别该亮点对应的图片维度
- **核心原则:一个亮点对应一个图片维度(1:1映射)**
- **推理过程**:
- - **前提1**:[引用亮点类型判断]
- - **前提2**:[引用亮点描述或制作表的具体内容]
- - **推理逻辑**:[说明该亮点关注的是图片的哪个方面]
- - **边界检查**:[说明为什么其他方面不属于该亮点]
- - **结论**:该亮点对应的图片维度是[维度名称]
- **根据亮点类型识别图片维度**:
- **如果是实质类亮点**:
- - 图片维度是该亮点描述的实质主体(作为一个整体概念)
- - 例如:
- - 亮点"白裙写生少女" → 图片维度"女性写生主体"
- - 亮点"画架" → 图片维度"画架实体"
- - 亮点"油画作品" → 图片维度"画布上的油画"
- - **注意**:这里只是识别一个抽象的图片维度,不是列举具体的特征维度
- - **严格禁止**:
- - ❌ 从一个亮点中识别出多个图片维度
- - ❌ 识别全局形式维度(如深度图、整体构图)
- - ❌ 识别其他实质的维度
- **如果是形式类亮点**:
- - 图片维度是该亮点描述的形式方面(作为一个整体概念)
- - 例如:
- - 亮点"户外写生空间层次" → 图片维度"空间深度结构"
- - 亮点"自然光照氛围" → 图片维度"光照氛围"
- - 亮点"整体色调" → 图片维度"色彩基调"
- - **严格禁止**:
- - ❌ 识别具体实质维度
- - ❌ 识别其他形式维度
- **如果是全局类亮点**:
- - 图片维度是该亮点描述的全局方面
- - 例如:
- - 亮点"整体构图" → 图片维度"画面构图"
- - 亮点"画面氛围" → 图片维度"整体氛围"
- - **严格禁止**:
- - ❌ 识别具体实质维度
- **一一对应原则**:
- ```
- 亮点1(实质类:"白裙写生少女")
- └── 图片维度:"女性写生主体"
- 亮点2(形式类:"户外写生空间层次")
- └── 图片维度:"空间深度结构"
- 亮点3(实质类:"画架")
- └── 图片维度:"画架实体"
- ```
- **重要说明**:
- - 在这一步,只识别一个抽象的图片维度,表示该亮点关注的是图片的哪个方面
- - 具体的特征维度(如"女性主体实质"、"绘画姿态"、"白裙形式")将在第二步中从图片维度分解得到
- - 保持严格的1:1映射关系,不要从一个亮点中识别出多个图片维度
- ### 5. 评估:Image Dimension识别结果
- 使用评估机制对识别出的图片维度进行评估:
- - **完整性**:该图片维度是否完整表达了该亮点关注的方面
- - **准确性**:是否与亮点描述和原图一致
- - **边界性**:是否严格限制在该亮点范围内,没有越界到其他亮点
- - **唯一性**:是否只识别了一个图片维度(1:1映射)
- - **决策**:PASS / ADJUST / REDO
- 如果评估未通过,根据评估结果进行调整或重做。
- **输出**:
- - 该亮点对应的图片维度名称(一个抽象的概念)
- - 图片维度的类型(实质/形式/全局)
- - 图片维度的简短描述
- ---
- ## 第二步:筛选单个亮点的Control Signals
- **【第二层:图片维度 → 特征维度,1:多映射】**
- 本步骤的目标是为图片维度提炼可复用的特征维度(Control Signals)。根据图片维度的类型(实质/形式/全局),一个图片维度可以产生一个或多个特征维度。
- ### 1. 调用dimension_research skill
- **目的**:为该亮点的Image Dimensions提炼可复用的Control Signals。
- **重要**:subagent必须严格遵守上述"知识与推理体系"和"评估与反馈机制"的全局规则。
- **调用方式**:
- - 通过sub agent工具调用子agent,使用browser use工具,在小红书搜索对控制信号的筛选有帮助的知识
- - 向sub agent提供该亮点相关的特征,并要求调用skill/dimension_research.md,返回搜索结果
- - 将研究过程和发现保存在 `knowledge/highlight_[N]/` 目录,保留原始URL
- - **确保subagent理解并执行全局规则**:在调用时明确说明必须遵守知识推理和评估机制
- **输入JSON格式**:
- ```json
- {
- "highlight_id": "[亮点ID或序号]",
- "highlight_description": "[亮点简短描述]",
- "highlight_type": "[实质/形式/全局]",
- "image_dimension": "[第一步识别的图片维度名称]",
- "image_dimension_description": "[图片维度的简短描述]",
- "goal": "为该图片维度寻找适合的特征维度(Control Signals)"
- }
- ```
- **重要说明**:
- - **highlight_type** 必须明确标注,这决定了特征维度的分解方式
- - **image_dimension** 是第一步识别的图片维度(一个抽象概念)
- - subagent将基于图片维度的类型和描述,搜索如何将其分解为可提取的特征维度
- **详细策略**:参考 `skills/dimension_research.md`
- ### 2. 从图片维度分解出特征维度
- ### 2. 从图片维度分解出特征维度
- **目标**:将第一步识别的图片维度(抽象概念)分解为具体的、可提取的特征维度(Control Signals)。
- **推理过程**:
- - 列出搜索得到的知识
- - 对该图片维度:
- - **前提**:[引用搜索得到的案例或知识]
- - **推理逻辑**:[说明为什么需要这些特征维度来表达该图片维度]
- - **边界检查**:[确认这些特征维度只服务于当前图片维度/亮点]
- - **结论**:该图片维度分解为[特征维度列表]
- **分解原则**:
- **如果图片维度是实质类**:
- - 需要分解为:该实质本身 + 该实质的形式属性
- - 例如:
- - 图片维度"女性写生主体" → 特征维度["女性主体实质"(三视图), "绘画姿态"(骨架), "服装形式"(材质颜色)]
- - 图片维度"画架实体" → 特征维度["画架实质"(三视图), "画架摆放角度"(角度参数)]
- - **说明**:
- - 实质本身作为一个特征维度(用于生成三视图素材)
- - 该实质的形式属性作为其他特征维度(姿态、颜色、材质等)
- - 可以有多个特征维度(1:多映射)
- **如果图片维度是形式类**:
- - 通常分解为一个特征维度(该形式的具体表示方式)
- - 例如:
- - 图片维度"空间深度结构" → 特征维度["深度图"]
- - 图片维度"光照氛围" → 特征维度["光照方向图"]
- - **说明**:
- - 形式类通常只需要一个特征维度
- - 但如果该形式很复杂,也可以分解为多个特征维度
- **如果图片维度是全局类**:
- - 通常分解为一个或少数几个全局特征维度
- - 例如:
- - 图片维度"画面构图" → 特征维度["构图网格图"]
- - 图片维度"整体氛围" → 特征维度["色彩基调", "光照分布"]
- **分解示例**:
- ```
- 图片维度:"女性写生主体"(实质类)
- ├── 特征维度1:"女性主体实质"(category: substance, output: image)
- ├── 特征维度2:"绘画姿态"(category: form, output: image)
- └── 特征维度3:"服装形式"(category: form, output: json)
- 图片维度:"空间深度结构"(形式类)
- └── 特征维度1:"深度图"(category: form, output: image)
- 图片维度:"画架实体"(实质类)
- ├── 特征维度1:"画架实质"(category: substance, output: image)
- └── 特征维度2:"画架摆放角度"(category: form, output: json)
- ```
- **严格禁止**:
- - ❌ 分解出不属于该图片维度的特征维度
- - ❌ 分解出属于其他亮点的特征维度
- - ❌ 实质类图片维度分解出全局形式特征(如深度图、整体构图)
- **原则**:
- - 优先选择可逆性强、生成模型友好的特征维度
- - **前瞻性思考**:分解时就要考虑每个特征在还原中如何被使用、起到什么作用
- - **避免过度相似**:不要提取与原图过于相似的特征
- - **保持独立性**:每个特征维度应该是独立的、可单独修改的
- **输出格式要求(必须明确指定)**:
- 为每个特征维度(Control Signal)必须明确指定:
- - **dimension_name**:特征维度名称(snake_case)
- - **belongs_to_image_dimension**:所属的图片维度名称
- - **category**:维度类别(global/substance/form)
- - **output_format**:输出格式(image/json),必须二选一
- - **image**:特征可视化图像(如深度图、分割mask、骨架图、构图网格图、光照方向图等)
- - **json**:参数/数值特征(如比例、坐标、权重、标签等)
- - **不是所有维度都是标签/分类**,很多维度需要输出图像化的特征表示
- - **format_reason**:选择该格式的理由
- - **generation_usage**:该特征维度在还原时如何被使用
- **常见维度的输出格式参考**:
- - 构图/布局类:通常用 image(网格图、引导线图、区域分布图)
- - 光照类:通常用 image(光照方向图、轮廓光分布图)
- - 深度/景深类:通常用 image(深度图、清晰度热力图)
- - 姿态/骨架类:通常用 image(骨架图)或 image+json(骨架图+关键点坐标)
- - 色彩类:可用 image(色带图)或 json(色值+权重)
- - 标签/分类类:用 json(标签、权重、参数)
- **输出**:
- - 撰写过程文档,详细解释每个特征维度的选择原因、用途、输出格式等信息
- - 说明如何利用搜索得到的知识
- - 对未利用到的知识也要有所解释
- ### 3. 评估:Control Signals分解结果
- 使用评估机制对分解出的特征维度进行评估:
- - **完整性**:是否完整表达了该图片维度的所有必要方面
- - **准确性**:分解的特征维度是否基于搜索证据
- - **可逆性**:这些特征维度是否足够还原该图片维度/亮点的特征
- - **可复用性**:特征维度是否具有泛化能力
- - **边界性**:特征维度是否严格限制在该图片维度/亮点范围内,没有越界
- - **映射关系**:是否符合1:多的映射关系(一个图片维度可以分解为多个特征维度)
- - **决策**:PASS / ADJUST / REDO
- 如果评估未通过,根据评估结果进行调整或重做。
- **输出**:
- - 该图片维度对应的特征维度列表
- - 每个特征维度的详细信息(名称、类别、输出格式、用途等)
- - 分解的推理过程和证据
- ---
- ## 第三步:提取单个亮点的Feature Values
- **【第三层:特征维度 → 特征值,可使用多工具对比】**
- 本步骤的目标是为每个特征维度提取具体的特征值。对于同一个特征维度,可以尝试使用不同的工具提取,通过对比评估选择最优结果。
- ### 1. 调用tool_research skill
- **目的**:为该亮点的Control Signals寻找最合适的提取工具。
- **重要**:subagent必须严格遵守上述"知识与推理体系"和"评估与反馈机制"的全局规则。
- **调用方式**:
- - 通过sub agent工具调用子agent,使用browser use工具,在小红书搜索对特征提取有帮助的工具的知识
- - 向sub agent提供需要提取的特征维度,并要求调用skill/tool_research.md,返回搜索结果
- - 将研究过程和发现保存在 `knowledge/highlight_[N]/` 目录,保留原始URL
- - **确保subagent理解并执行全局规则**:在调用时明确说明必须遵守知识推理和评估机制
- **输入JSON格式**:
- ```json
- {
- "highlight_id": "[亮点ID或序号]",
- "dimensions": [] // 该亮点筛选后的多模态维度清单,维度名称(snake_case或短英文/拼音)
- }
- ```
- **详细策略**:参考 `skills/tool_research.md`
- ### 2. 工具选择
- **推理过程**:
- - 列出搜索得到的工具和案例
- - 对每个维度:
- - **前提**:[引用搜索得到的工具信息和使用案例]
- - **推理逻辑**:[说明为什么选择这个工具]
- - **结论**:选择[工具名称]
- **评估标准**:
- - 发布时间:优先近期更新的工具(先确定当前时间,再判断工具是否近期更新)
- - 是否支持多模态处理
- - 是否支持批量处理
- - 是否支持API或可编程调用
- **选择建议**:优先选择更新、更通用、更多人使用或推荐的工具。
- ### 3. 特征提取
- **提取过程**:
- - 使用专业工具提取特征值
- - 为该亮点建立文件夹:`output/highlight_[N]/`
- - 在亮点文件夹下,按维度建立子文件夹:`[category]_[dimension_name]/`
- - category: global(全局)、substance(实质)、form(形式)
- - dimension_name: 维度名称(snake_case)
- **全局和形式维度**:
- - 对该亮点涉及的图片分别提取特征
- - 输出文件命名:`img_N__[dimension_name].png` 或 `.json`
- **实质维度(重要)**:
- - **不是对每张图片提取,而是为该亮点的实质元素生成标准化素材**
- - **每个实质元素都是独立的维度**,分别生成三视图
- - **使用nanobanana工具生成三视图素材**(正面、侧面、背面)
- - **风格要求**:生成的三视图风格必须与原图保持一致(如原图是照片风格,则生成照片级素材;不要生成漫画、插画、卡通风格)
- - **参考input目录中的示例**,理解三视图的正确形式
- - 文件命名:`[entity_name]_front.png`、`[entity_name]_side.png`、`[entity_name]_back.png`
- - 最终交付物:三个PNG图片文件
- **mapping.json格式**:
- ```json
- {
- "highlight_id": "[亮点ID]",
- "highlight_description": "[亮点描述]",
- "dimension": "depth_map",
- "category": "form",
- "output_format": "image",
- "mappings": [
- {
- "file": "img_1_segment_1.png",
- "source_image": "input/img_1.jpg",
- "segment": 1,
- "category": "形式",
- "feature": "空间深度结构"
- }
- ]
- }
- ```
- **实质维度mapping.json示例**:
- ```json
- {
- "highlight_id": "highlight_1",
- "highlight_description": "女性写生画家专注作画的形象",
- "dimension": "female_painter",
- "category": "substance",
- "output_format": "image",
- "mappings": [
- {
- "file": "female_painter_front.png",
- "view": "front",
- "source_images": ["input/img_1.jpg", "input/img_3.jpg"],
- "category": "实质",
- "feature": "女性写生主体"
- },
- {
- "file": "female_painter_side.png",
- "view": "side",
- "source_images": ["input/img_2.jpg"],
- "category": "实质",
- "feature": "女性写生主体"
- },
- {
- "file": "female_painter_back.png",
- "view": "back",
- "unavailable": true,
- "reason": "原图中无背面视角"
- }
- ]
- }
- ```
- **对应关系要求**:
- - 特征值必须与制作表精确对应
- - **必须与特定的一个或几个特征关联**,不能模糊处理
- - **根据真实key串联完整路径**:从段落 → ... → 最后一层特征
- - 如果是实质,直接关联到段落本身
- ### 4. 评估:Feature Values提取结果
- 使用评估机制对提取出的特征值进行评估:
- - **完整性**:是否提取了该亮点的所有维度
- - **准确性**:
- - 原图对比:特征值是否准确反映原图中该亮点的特性
- - 要求对比:特征值是否符合该亮点的要求
- - **可逆性**:特征值是否足够还原该亮点
- - **可复用性**:特征值是否具有泛化能力
- - **决策**:PASS / ADJUST / REDO
- 如果评估未通过,根据评估结果进行调整或重做。
- ### 5. 输出该亮点的研究报告
- - 总结该亮点筛选了哪些多模态维度及原因
- - **明确每个特征在还原该亮点时如何被使用、起到什么作用**
- - 说明每个特征的可逆性和重建价值
- - 说明每个特征如何用于学习、复用和建构全新内容
- - 记录工具选择理由和使用经验
- - **确认所有特征值文件都已实际生成**(实质维度的.png图片、形式/全局维度的图片或json)
- ---
- ## 第四步:处理下一个亮点
- 重复第一步至第三步,处理下一个亮点,直到所有亮点都处理完成。
- ---
- ## 第五步:生成整合报告
- 所有亮点处理完成后,生成整合报告:
- **内容**:
- - 处理的亮点总数和列表
- - 每个亮点提取的维度汇总
- - 所有特征值的文件清单
- - 整体评估:
- - 所有亮点的特征是否能够完整还原原图
- - 特征之间是否存在冗余或遗漏
- - 整体的可逆性和可复用性评估
- - 建议和改进方向
- ---
- # 三、核心原则
- ## 解构原则
- **亮点驱动**:
- - 亮点数据是图片表现力的核心
- - 筛选维度时重点参考亮点
- - 对高权重段落细致处理
- **可逆性优先**:
- - 优先选择可逆性强的维度
- - 特征应该是生成模型友好的控制信号
- - 避免信息损失过大的表示
- - **避免提取与原图过于相似的特征**:特征应该是抽象的、可复用的
- **价值导向**:
- - 特征不仅用于还原,更要用于学习、复用和建构全新内容
- - 为了还原而还原没有价值
- - 优先提取具有泛化能力和创造性价值的特征
- **适度解构**:
- - 维度数量适中,且相互独立
- - 避免过度细分或过度简化
- - 若已有维度可以表达目标语义,不新增维度
- - 新维度必须给出必要性说明
- - 根据图片组的复杂度灵活调整
- **一致性保证**(针对图片组):
- - 若图片组中存在重复实质,保持一致的表示方式
- - 例如:相同骨架比例、相同主色调范围、相同空间比例关系
- - 一致性优先级高于创意优先级
- **过程验证**:
- - 不盲目相信过程中结果的正确性
- - 对每一个步骤中得到的中间结果,都要根据要求进行评估和验证
- ---
- ## 质量要求
- **禁止降级解决**:
- - 不允许为了方便而使用效果显著更差的简单方案
- **禁止平凡表示**:
- - 不允许只提供自然语言描述
- - 必须使用多模态提供超越语言的信息
- **禁止保存原始图片**:
- - 不允许保存原图或原图的任何部分(裁剪、截图、抠图等)
- - 图片裁剪只能作为中间步骤,不能作为最终特征
- - 最终必须提取多模态特征:
- - 实质维度:标准化素材(去除形式信息)
- - 形式维度:特征可视化(深度图、mask、骨架等)
- - 全局维度:控制信号可视化(光照图、色彩分布等)
- - 所有特征都必须是抽象的、可复用的、可迁移的
- - **注意**:"伪造结果"是指编造不存在的数据或虚假信息,使用生成式模型生成缺失视角不是伪造
- ---
- # 四、还原与创造说明
- 最终,负责还原的agent将获得:
- - 更新的制作表(包含多模态维度和值)
- - 各维度的特征文件
- 还原agent将以生成式模型为主,使用这些特征作为控制信号重建图片。
- **更重要的是**:这些特征不仅用于还原原图,更要用于学习规律、复用特征、建构全新内容。因此,特征应该具有泛化能力和创造性价值,而不是原图的简单复制。
- ---
- # 五、Subagent JSON Contract
- 当需要调用subagent执行skill时,主agent必须先构造严格符合下述schema的JSON,并作为subagent的唯一输入。
- ## A) dimension_research 输入JSON(必须字段齐全)
- ```json
- {
- "highlight_id": "[亮点ID或序号]",
- "highlight_description": "[亮点简短描述]",
- "highlight_type": "[实质/形式/全局]",
- "image_dimension": "[第一步识别的图片维度名称]",
- "image_dimension_description": "[图片维度的简短描述]",
- "goal": "为该图片维度寻找适合的特征维度(Control Signals)"
- }
- ```
- **生成规则**:
- - highlight_id:亮点的ID或序号
- - highlight_description:亮点的简短描述(来自亮点JSON)
- - highlight_type:亮点类型(实质/形式/全局),必须在第一步中判断
- - image_dimension:第一步识别的图片维度名称(一个抽象概念)
- - image_dimension_description:图片维度的描述,说明该维度关注的是图片的哪个方面
- - goal:固定写为"为该图片维度寻找适合的特征维度(Control Signals)"
- **注意**:
- - 这个JSON用于第二步,目的是从图片维度分解出特征维度
- - 必须提供第一步识别的图片维度信息
- - subagent将基于图片维度的类型和描述,搜索如何将其分解为可提取的特征维度
- ## B) tool_research 输入JSON(必须字段齐全)
- ```json
- {
- "dimensions": []
- }
- ```
- **生成规则**:
- - dimensions:来自"筛选后的多模态维度清单",必须是维度名称(snake_case或短英文/拼音都可),不要写长描述
- ---
- # 开始执行
- 请根据上述原则,灵活分析 `input/` 目录下的数据,完成多模态特征的筛选和提取工作。
|