统一内存
Unified Memory
学到 认得 就够:听到能明白
你可能会说
“我用 Mac 跑本地文献模型,统一内存能全部按显存来估算吗?”
让CPU、GPU等共享内存池的架构,可减少部分复制,具体行为取决于实现。
使用 AI
科研里的例子
估算Mac模型空间时,观察系统和其他应用占用及长上下文峰值。
Apple silicon的统一内存架构与一些平台同名的软件管理机制需区分。标称总容量同时服务系统和多类任务,不能全算模型独占显存。带宽、算子支持和系统预留影响可运行条件,容量相同也不保证与独立GPU同速。
判断
亲手检查一次
核对架构与框架支持,实测同一任务的速度、峰值和内存压力。
它做不到的
统一内存不是无限显存,不可只按容量比较完整性能。
增量,由你来写
读完这张,你的理解变了什么?
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。