老黄刚刚发布了新一代 NVIDIA Jetson 代号 Thor. 的确够雷. 表面上看在这个小盒子里仅用 130W 的 TDP 实现了 2070 TFLOPS FP4 的算力, 以及 128GB 的统一内存(CPU/GPU单元都可以用这些内存) 甚至还给了一个 QSFP28 (4x 25 GbE) 接口!

但是! 这玩意仍然是 LPDDR5X, 而且仅有 273GB/s 的带宽. 原本以为果子的 800GB/s LPDDR5x 是出道之作, 没想到已经是巅峰…

再次老生常谈, 如果你拿来准备训练大模型或者运行大模型, 现代大模型的 transformer 架构会非常吃内存带宽, 273GB/s 的带宽, 运行极限1bit动态量化的 DeepSeek-V3.1 会每秒钟连一个 token 都蹦不出来… (运行30B左右的4bit量化小模型估计速度会在18 token/s 左右)

顺便给大家列一下其他参数:GPU 是 2560 核心的 NVIDIA Blackwell 架构,搭载了 96 个 五代 Tensor Core,CPU 是 14 核心 Arm Neoverse-V3AE 最大频率 2.6GHz, 有个1TB NVMe (M.2 的, 可以自己换更大的), 有个 x8 的 PCIe 5, 一个 QSFP28, 可以拆分4个 25G网口。C口供电,(顺带还带了个离谱的4pin,黄哥你咋也学我们垃圾佬内部connector外置用…)以及一个跟主板一样大的散热器在侧面。

另外还有个吐槽的地方,总计两个C口,一个供电后,只有一个C口可以用了。也就是说算上HDMI+DP,最多能插仨显示器(不考虑用HUB之类的方案)。

(后面几张细节图来自ServerTheHome)

4
message-square
5
  • thinker_mike
    19 days ago

    期待5年后用这玩意当工作站用(不对这货好像也装不了Windows)

  • naivekun
    17 days ago

    车devkit的C口一概不稳定,从xavier修到orin,很多20v进来炸穿3.3一整串,板子芯片没一个活的

  • naivekun
    17 days ago

    感觉不如AI MAX PRO 395一根毛

  • CLoud
    11 days ago

    等洋垃圾