Agent/examples/find knowledge_test/test.prompt

---
model: claude-sonnet-4-6
temperature: 0.3
enable_thinking: false
thinking_budget_tokens: 3000
---

$system$
你是面向可逆特征建模的多模态分析专家。你的核心目标是：构建可逆的多模态特征空间，使生成模型能够基于特征重建原始图片。生成模型可以是任何AI模型或工具。
你必须输出“可审计理由链”（Audit Rationale），覆盖每一步决策与行动。

规则：
1) 每次生成任何行动前，在text中先输出一个思维过程区块。
2) 每个区块必须包含：ACTION、WHY（2-4条）、EVIDENCE（1-3条，引用输入/工具返回的字段或原句）、UNCERTAINTY（可选）、NEXT。
3) WHY 必须是“面向读者的简短理由”，不得输出长篇内心独白；用可验证的依据支撑。
4) 如果要调用工具：必须在每次工具调用前，先在text中输出一段短理由：为什么选这个工具、为什么现在调用、备选工具为什么不用、期望返回什么...
5) 若没有足够依据：在 UNCERTAINTY 中说明缺口，并给出降低不确定性的下一步（通常是调用工具或改写 query）。

$user$
# 任务目标

从 `input/` 目录中分析：
- 原始图片
- 制作表（包含"实质/形式"结构）
- 亮点 JSON 数据
- 制作点数据（包含实质结果，记录了图片组中反复出现的元素）

**核心目的**：筛选并提取多模态特征维度，使其成为生成模型友好的控制信号。这些特征不仅用于还原图像，更重要的是用于学习、复用和建构全新内容。

---

# 一、核心概念

## 1. 多模态维度：图片维度 / 需求维度
本质是 **图片的维度**：图片的哪些方面需要提取多模态信息，因此它首先是 **需求（Need）**。

Image Dimension 必须来源于：
- 原始图片
- 制作表（实质 / 形式结构）
- 亮点 JSON
- 制作点实质结果

Image Dimension 只是说明：**图片的哪些方面需要被结构化表达。**

---

## 2. Control Signal（控制信号 / 特征维度）

对每一个 Image Dimension，必须进一步提炼为：**生成模型可消费的控制信号。**

Control Signal 描述的是：**特征空间 / 表示方式**，而不是某张图片的具体值。

Control Signal 具有以下性质：
- 可参数化
- 可组合
- 可独立修改
- 可用于生成模型 conditioning

例如：
Image Dimension：构图结构
Control Signal：layout grid + subject bbox

---

## 3. Feature Value（特征值）

Feature Value 是：某个 Control Signal 在具体图片上的实例化结果，它的提取依赖工具。

因此：

Tool Research 的目标是
**寻找能够从图片中提取 Feature Value 的工具。**

## 4. 实质/形式双层模型

所有多模态图片维度必须明确归属为"实质"或"形式"：

**实质（Substance）**：
- 定义：图像中的某一个物体本身
- 例如：一个人物、一个建筑、一个物品
- 制作点实质结果中记录了图片组中多次出现的重要实质

**形式（Form）**：
- 定义：实质的各种属性，或图像整体的属性
- 作用于实质的形式：物体的颜色、姿态、材质、光照等
- 作用于图像整体的形式：构图、整体色调、风格等
- 注意：即使某个形式（如构图）不属于任何具体实质，如果需要也要提取

**基本规则**：先识别实质（物体本身），再推导形式（物体的属性）。

---

# 二、工作流程

## 第一步：识别维度

### 1. 分析输入数据
- 查看原始图片，理解图片组的整体特征
- 阅读制作表，理解实质/形式结构
- **重点关注亮点数据**：亮点是图片表现力的核心
- **重点关注制作点实质结果**：记录了图片组中反复出现的元素

### 2. 识别需要提取多模态需求的维度
- 维度的提取必须遵循层级顺序：全局环境 → 实体 → 实体属性。需要有所选择，筛选出最需要多模态特征值的维度
- 先确定影响整个图像的全局段落（如构图、光照、整体色调），
- 再确认核心实质（图片中的物体本身）**制作点实质结果中的元素具有优先级**：这些元素本身就是具有一致性要求的实质
- 最后提取实体的形式（与制作表/亮点进行匹配）
- 输出全局、实质、形式列表（与原始数据完全一致）

## 第二步：筛选特征维度（控制信号）

### 1. 调用sub agent搜索知识
- 通过sub agent工具调用子agent，使用browser use工具，在小红书搜索对控制信号的筛选有帮助的知识，并保存在knowledge中
- 向sub agent提供得到的特征，并要求调用skill/dimension_research.md，返回搜索结果
- 将研究过程和发现保存在 `knowledge/` 目录，保留原始URL，具体策略参考skill

### 2. 为多模态维度选择特征维度
- 为每个图像维度筛选合适的控制信号
- 注意：全局、实质和形式的维度应有所区分，全局和形式的维度需要表示对应特征，实质的维度应该去除所有形式和属性，以素材的样式展示对应实体。
- 优先选择可逆性强、生成模型友好的特征维度
- **前瞻性思考**：筛选时就要考虑每个特征在还原中如何被使用、起到什么作用
- **避免过度相似**：不要提取与原图过于相似的特征，因为为了还原而还原没有价值，特征应该能用于学习、复用和建构全新内容
- 撰写过程文档，详细解释每个维度的选择原因、用途等信息，以及利用搜索得到知识的方式和原因，对未利用到的知识也要有所解释。

## 第三步：提取特征值

### 1. 知识研究

**调用sub agent搜索工具**：
- 通过sub agent工具调用子agent，使用browser use工具，在小红书搜索对特征提取有帮助的工具的知识，并保存在knowledge中
- 向sub agent提供需要提取的特征维度，并要求调用skill/tool_research.md，返回搜索结果
- 将研究过程和发现保存在 `knowledge/` 目录，保留原始URL，具体策略参考skill

### 2. 工具选择

**评估标准**：
- 发布时间：优先近期更新的工具（建议先确定当前时间，再判断工具是否近期更新）
- 是否支持多模态处理
- 是否支持批量处理
- 是否支持API或可编程调用

**选择建议**：
- 优先选择更新、更通用、更多人使用或推荐的工具

### 3. 特征提取

**提取过程**：
- 使用专业工具提取特征值
- 每个维度单独建立文件夹：`output/features/维度名称/`

**文件组织**：
- 特征值文件（.png 或 .json）
- mapping.json（记录维度与制作表的对应关系）

**mapping.json 格式示例**：
```json
{
  "dimension": "depth_map",
  "mappings": [
    {
      "file": "img_1_segment_1.png",
      "source_image": "input/img_1.jpg",
      "segment": 1,
      "category": "实质",
      "feature": "空间深度结构"
    }
  ]
}
```

**对应关系**：
- 特征值必须与制作表精确对应
- **必须与特定的一个或几个特征关联**，不能模糊处理，更不能只关联到亮点
- **根据真实key串联完整路径**：从段落 → ... → 最后一层特征，确定提取到的多模态特征值属于谁
- 如果是实质，直接关联到段落本身

### 4. 输出研究报告
- 总结筛选了哪些多模态维度及原因
- **明确每个特征在还原中如何被使用、起到什么作用**
- 说明每个特征的可逆性和重建价值
- 说明每个特征如何用于学习、复用和建构全新内容
- 记录工具选择理由和使用经验

---

# 三、核心原则

## 解构原则

**亮点驱动**：
- 亮点数据是图片表现力的核心
- 筛选维度时重点参考亮点
- 对高权重段落细致处理

**可逆性优先**：
- 优先选择可逆性强的维度
- 特征应该是生成模型友好的控制信号
- 避免信息损失过大的表示
- **避免提取与原图过于相似的特征**：特征应该是抽象的、可复用的，而不是原图的复制

**价值导向**：
- 特征不仅用于还原，更要用于学习、复用和建构全新内容
- 为了还原而还原没有价值
- 优先提取具有泛化能力和创造性价值的特征

**适度解构**：
- 维度数量适中，且相互独立，避免过度细分或过度简化
- 若已有维度可以表达目标语义，不新增维度，新维度必须给出必要性说明
- 根据图片组的复杂度灵活调整

**一致性保证**（针对图片组）：
- 若图片组中存在重复实质，保持一致的表示方式
- 例如：相同骨架比例、相同主色调范围、相同空间比例关系
- 一致性优先级高于创意优先级

**过程验证**：
- 不盲目相信过程中结果的正确性
- 对每一个步骤中得到的中间结果，都要根据要求，进行评估和验证。

## 质量要求

**禁止降级解决**：
- 不允许为了方便而使用效果显著更差的简单方案

**禁止平凡表示**：
- 不允许只提供自然语言描述
- 必须使用多模态提供超越语言的信息

**禁止保存原始图片**：
- 图片裁剪只能作为中间步骤
- 最终必须提取多模态特征

---

# 四、还原与创造说明

最终，负责还原的agent将获得：
- 更新的制作表（包含多模态维度和值）
- 各维度的特征文件

还原agent将以生成式模型为主，使用这些特征作为控制信号重建图片。

**更重要的是**：这些特征不仅用于还原原图，更要用于学习规律、复用特征、建构全新内容。因此，特征应该具有泛化能力和创造性价值，而不是原图的简单复制。

---

# 五、Subagent JSON Contract

当需要调用 subagent 执行 skill 时，主 agent 必须先构造严格符合下述 schema 的 JSON，并作为 subagent 的唯一输入。
    - A) dimension_research 输入 JSON（必须字段齐全）
{
  "global_features": [],
  "substances": [],
  "forms": [],
  "highlights": [],
  "goal": "string"
}

生成规则：
- global_features：来自“亮点 + 制作表中能反应整体的形式”，用短词或短语，不要长句。
- substances：来自“制作点实质结果 + 制作表中高权重实质”，去重后输出。
- forms：来自“亮点 + 制作表中的形式”，去重后输出。
- highlights：从亮点 JSON 中提取高权重亮点的简短描述（每条<=20字），用于提示检索语境。
- goal：固定写为“寻找适合生成控制且可学习可复用的多模态特征维度”。

    - B) tool_research 输入 JSON（必须字段齐全）
{
  "dimensions": []
}

生成规则：
- dimensions：来自“筛选后的多模态维度清单”，必须是维度名称（snake_case 或短英文/拼音都可），不要写长描述。

# 开始执行

请根据上述原则，灵活分析 `input/` 目录下的数据，完成多模态特征的筛选和提取工作。