cake
Cake day: January 12th, 2025Joined 2 months ago


为了简单,先限定框架和模型:现在大规模 inference 框架主要就 SGLang 和 vLLM,我们以 SGLang 为例;模型我们就用 DeepSeek-V3 为例。

从 SGLang 的 issue 区我们可以获得这些信息

  1. 部署 DeepSeek-V3 大概需要 H200 * 8
  2. H200 * 8 可以在 concurrency = 32 的情况下达到大概 1k token/s

下面是具体计算…

2
message-square
1

备份软件大多支持 OSS,如果不考虑其他用途,那么 minio 这一方案最大的毛病 —— 「我用的软件不支持 OSS 存储」,就变得不太严重了。

虽然说可能相比于其他主流方案 (比如 truenas + zfs raid),minio 也未必更优秀,但俺还是很好奇其中的深浅。

在网上也很少见到有人在家里 nas 上单独用 minio;即便用 minio ,也是结合其他 raid 方案(但是 minio 官方认为这样的双重冗余实际上是没必要的),所以特地来这里取取经,偷偷理解。

1
message-square
3

Karma

  • 2 Posts
  • 1 Comment

Homelab

  • coming soon

Trophy Case