先记一条公式
模型权重约按参数量 × 2 字节（FP16）算显存，再留 1.5-2 倍给梯度、优化器与激活值。7B 模型 FP16 推理约需 16-20G，微调则远不止。
场景对照
| 场景 | 4090（24G） | 说明 |
|---|---|---|
| 7B 模型推理 | 够 | FP16 单卡可跑，QPS 要求高可双卡 |
| 7B 模型 LoRA 微调 | 勉强 | 开梯度检查点 + 小 batch 可行 |
| 13B 模型推理 | 需量化 | INT8/INT4 量化后可跑 |
| 13B 全量微调 | 不够 | 需多卡或 A100 级 |
| Stable Diffusion / 视频 | 够 | 主流生图模型 24G 富余 |
跑不动的常见原因
多数不是卡慢，是显存爆了。处理顺序：减 batch → 开梯度检查点 → 量化 → 换 LoRA → 换更大显存的卡。
什么情况直接上大显存卡
模型 30B 以上、需要长上下文（32K 以上）、做多卡训练。这时别硬挤 4090，机时浪费比差价更贵。
租卡建议
先按 1 小时跑通最小 batch 验证流程，再批量租；训练中途留 checkpoint，中断可续，不用从头烧钱。
4090 与大显存卡的实时库存，见 GPU 算力出租 栏目。