显存
Video Random-Access Memory
学到 认得 就够：听到能明白
你可能会说
“我下载的模型文件小于显存容量，为什么运行长篇文献时仍可能装不下？”
GPU计算使用的内存资源，权重之外还可能放中间结果、KV缓存及框架开销。
使用 AI
科研里的例子
短文本能跑的模型，在长访谈输入时可能因缓存增长显存不足。
输入长度、输出长度、并发、量化格式和框架影响占用。卸载、分层加载与多卡切分可能让权重不必同时驻留单块显存，但会改变速度和复杂度。训练还需梯度与优化器状态，不能套用推理估计；权重装下只是运行条件之一。
判断
亲手检查一次
记录格式、上下文与并发，测代表性长输入的峰值并留运行余量。
它做不到的
参数量、下载体积、标称显存和当前可用显存不可直接互换。
增量，由你来写
读完这张，你的理解变了什么？
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。
来源
- NASA GPU Hardware Architecture2026-11-06 核对
- NVIDIA Local AI2026-11-06 核对
卡片底稿由 AI 协助整理，经过核对；发现错误请告诉我。