tool_research.md 4.0 KB
Skill: tool_research
Purpose
该 skill 用于为 Control Signals（控制信号 / 特征维度） 寻找最合适的提取方法。Control Signal 表示生成模型可消费的特征空间，
tool_research 的任务是： 寻找能够从图片中提取这些特征维度的Feature Values（特征值） 的工具或方法。
工具可以包括：
- AI 模型
- 图像算法
- 开源工具
- API
- Python 图像处理库
Definitions
Control Signal 是生成模型可消费的特征维度，描述了一个可逆的特征空间，而不是某张图片的具体值。
Feature Value 是 Control Signal 在具体图片上的实例化结果，也是特征维度的具体维度值。Feature Value 由工具从图片中提取。
Input
来自主 agent 的 JSON：
{ "dimensions": [
"pose",
"lighting_direction",
"color_palette",
"texture_pattern"
] }
注意： 这里的 dimensions 实际上表示 Control Signals，而不是 Image Dimensions。
Output
输出文件：
knowledge/tool_research_result.json
结构：
{ "tools": [
{
"dimension": "pose",
"tool_name": "OpenPose",
"type": "model",
"input": "image",
"output": "skeleton keypoints",
"api": true,
"reason": "广泛用于人体姿态检测"
}
] }
Search Strategy
Stage 1 — Discover（工具发现）
目标： 发现能够提取指定 Control Signal 的算法或模型。 Query 结构： control_signal + extraction intent
intent 可以包括：
- estimation
- detection
- segmentation
- analysis
- extraction
- recognition
示例：
pose keypoints extraction model
pose estimation model
lighting direction estimation image
color palette extraction python
texture analysis algorithm
来源优先级：
- 小红书（创作者经验）
- 技术博客
- GitHub
- 论文 该阶段目标： 获得候选工具名称。
Stage 2 — Narrow（工具定位）
目标：确认工具是否能够输出符合 Control Signal 的 Feature Value。 Query 结构： tool_name + capability
示例：
- OpenPose keypoints output format
- MediaPipe Pose python api
- Segment Anything segmentation python
- MiDaS depth estimation github
需要确认：
- 输入格式
- 输出格式
- API 支持
- 是否支持批量处理
- 是否开源
Stage 3 — Verify（工具验证）
目标： 验证工具可靠性、泛用性。可以参考评论反馈，或者搜索失败案例 Query 结构： tool_name + evaluation intent
intent 可以包括：
- benchmark
- comparison
- vs
- accuracy
- limitations
- latest release
示例： OpenPose vs MediaPipe Pose MiDaS depth benchmark Segment Anything limitations MediaPipe Pose accuracy benchmark
需要确认：
- 精度
- 适用场景
- 是否存在明显限制
Tool Selection Criteria
工具必须满足：
- 支持图像输入
- 输出结构符合维度需求
- 支持 API 或代码调用
- 可用于批量处理
优先选择：
- 近期更新工具
- 社区广泛使用工具
- 评论中有大量好评的工具
Verification
工具选择后需要验证： 例如：
- pose： 骨架结构是否符合人体姿态
- palette： 提取颜色是否接近原图
- texture： 纹理是否符合视觉观察
Stop Condition
当每个维度找到，至少 2 个候选工具，即可停止搜索。
Important Principle
工具必须服务于维度。 维度设计优先。
Search Language Strategy
查询语言必须根据平台自动选择。
中文优先
默认情况下： 优先使用中文查询。 原因：
- 内容平台主要为中文内容
- 中文 query 更容易找到真实创作者经验
适用平台：
- 小红书
- 知乎
- B站
- 中文博客
英文查询
当搜索来源为：
- GitHub
- 论文
- 技术博客
- AI工具库
- API文档 才使用英文 query。
双语搜索策略
若中文搜索结果不足： 可以进行第二轮搜索：
Query 翻译规则
从中文平台切换到英文平台时，将核心概念翻译为英文。
禁止行为
禁止： 在中文平台使用纯英文 query。