多模态
Multimodal
学到 认得 就够：听到能明白
你可能会说
“我能把调查图片上传给助手，这就说明它的底层模型真正处理了图像吗？”
多模态系统处理文字、图像、音频或视频等不同信息形式，并在任务中结合它们。产品支持附件不一定说明底层模型直接处理原始模态，也可能先经过识别或转写。
使用 AI
科研里的例子
分析访谈录像时，文字模型转写内容与真正利用声音、画面表情的多模态分析不同，方法部分应交代实际流程。
多模态学习要处理表示、对齐和融合：不同模态的单位与时间尺度不一样，系统需要建立对应关系。图文对齐可学共同语义，视频还涉及帧间变化，语音又可能包含说话方式。它能提供文本之外的信息，也会叠加各环节误差。科研中应查输入究竟如何被处理，核对图像分辨率、采帧与音频转写，避免把界面能接收某种文件直接等同于已完整利用全部内容。
判断
亲手检查一次
给同一材料分别提供纯文字、图像和两者结合，设计一个只有图中可见的信息点，检查系统是否真的利用了它。
它做不到的
多模态不是全部模态都同样强，也不保证跨模态信息正确对齐；上传成功、文件解析和实质理解属于不同检查。
增量，由你来写
读完这张，你的理解变了什么？
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。
来源
卡片底稿由 AI 协助整理，经过核对；发现错误请告诉我。