混合专家模型
Mixture of Experts
学到 认得 就够：听到能明白
你可能会说
“我看到文献助手使用混合专家模型，这里的专家是按经济学、教育学来分的吗？”
MoE 在一个模型内部放置多组参数模块，由路由机制选择其中部分处理输入。稀疏 MoE 可让总参数量很大而每次只激活一部分；专家通常不是外部真人或独立聊天模型。
使用 AI
科研里的例子
为本机资料分类选择模型时，某 MoE 激活参数虽少，全部权重仍可能占较大内存，不能只看激活数判断能否运行。
路由器依据输入表示给专家分配计算，常见做法只选少数专家。这样增加容量时，不一定按相同比例增加每个词元的计算量，但所有专家的存储、通信和负载均衡仍要考虑。专家不一定形成“经济学家”“法律专家”等清晰分工。比较模型规模时尤其应区分总参数、激活参数、实际内存和任务表现，否则“大而省”的宣传容易遮住部署条件。
判断
亲手检查一次
查看一个 MoE 模型说明，分别抄下总参数、每步激活参数和专家数，再核对下载文件大小与运行内存要求。
它做不到的
MoE 是内部架构，不等于多智能体协作；专家名不能当作专业资质，也不保证每种任务都有专门专家。
增量，由你来写
读完这张，你的理解变了什么？
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。