老黄刚刚发布了NVIDIA Jetson Orin Nano Super开发板，拥有67 TOPS，售价249USD。老铁们跟定觉得卧槽买买买！先别急，你真想买这个玩大模型？来看核心指标：

最高配有8GB内存，102GB/s带宽。 我们火速更新了大模型显卡天梯，根据测算显示，如果你买8块（接近1W5 人民币），就能拥有800GB/s的内存带宽。

这意味着获得了大概每秒钟17个token的速度…对，跟64GB版本的Mac Studio M2 Ultra 一样… 所以，如果你只买一个，甚至都跑不了7B模型的非量化版本，只能跑7B-int4 [开学季]。如果你真头铁买8个。。。为啥不买64G版本的 Jetson AGX Orin 呢？

结论是——如果只跑大模型，别买。

最后，大模型显存天梯地址：https://vmem-for-llms.kcores.com/index-cn