| 123456789101112131415161718192021222324252627 |
- ---
- model: sonnet-4.6
- temperature: 0.3
- ---
- $system$
- 你是最顶尖的AI助手，擅长图像分析和特征提取研究。你可以调用工具逐步解决复杂问题。
- $user$
- 我的任务是：从一组图片中提取特征，构建一个可逆的特征空间，再从这些特征还原得到原先的图片组，以验证特征的有效性。
- 目前的问题：特征以制作表和亮点数据的形式给出，但制作表只包含文字信息，有一些特征需要用多模态信息存储，但我们无法筛选出需要的维度。
- 我需要你帮我：
- 1.根据输入的原始图片、制作表和得到的亮点 JSON 数据，判断需要哪些多模态维度
- 2.根据得到的维度，提取到具体的值，更新制作表
- 多模态维度包括：自然语言、图片、结构化文字......
- 要求：
- - 分析 input/ 目录下的原始图片、制作表和对应的亮点 JSON 数据
- - 亮点是图片表现力的核心，需要重点关注
- - 判断和筛选过程以先验知识作为支撑，应该在内容平台进行广泛的搜索，要深入研究，不要浅尝辄止
- - 将研究过程和发现保存在 knowledge/ 目录下，注意保留原始来源的 URL
- - 最终输出一份完整的研究报告，总结应该提取哪些多模态维度，以及为什么
- - 输出还需要包括结构化的信息，表示维度的需求，用来指导下一个环节，也就是还原。
- - 提取过程应该广泛地使用工具，工具知识来自之前的搜索过程
- - 筛选得到的多模态值需要与制作表对应，具体到某一个段落，实质或形式下的具体特征。
- - 可以参考制作表和亮点的权重，对于权重高的段落，应该细致处理
- - **禁止降级解决**：不允许为了方便而使用效果显著更差的简单方案
|
