模型太大了一直out of memory

[Bruce-Zhr]

我不知道这么大的model是怎么训出来的，我连test都根本test不动，我在一张24g 4090的卡上，怎么调显存都不够，后来换了张32g的，依旧OOM，我真的不知道该怎么办了，作者给的显存不够的解决方案对我来说一点效果都没有，不知道什么原因

[Bruce-Zhr]

我费劲千辛万苦，好不容易把environment搞定了，结果model一直OOM，真的心态炸了

[Tianshuo-Xu]

你先试试你能不能跑起来FLUX？一张32G的卡可能确实有点难跑，训练是在8x80G A100训练的

[Tianshuo-Xu]

我在一张A100上做推理是可以的

[martinlyqq-cell]

你好天硕！我正在用 RTX 5080 尝试运行 UniCalli。我注意到 32G 显存依然会溢出。既然你提到了 FLUX，能不能分享一个 ComfyUI 工作流，并建议是否有量化版本（如 GGUF 或 NF4）？这能帮助我们这些使用消费级显卡的用户运行你的出色作品。谢谢！

[Tianshuo-Xu]

@Bruce-Zhr @martinlyqq-cell 哈喽，我刚刚上线了4-bit量化的script，只需要<18G显存即可运行，你们看看有什么问题吗？我这边实测质量会下降一些，但不会特别多，有问题我们继续沟通

[Tianshuo-Xu]

无损的deepspeed版本差不多需要40G显存，如果对质量要求高可以用deepspeed版

[Bruce-Zhr]

@Bruce-Zhr @martinlyqq-cell 哈喽，我刚刚上线了4-bit量化的script，只需要<18G显存即可运行，你们看看有什么问题吗？我这边实测质量会下降一些，但不会特别多，有问题我们继续沟通

好的 好的，非常感谢