xdddxxmx @ c/homelab ·
edit-2
7 hours ago

[第一届晒机大赛]家用NAS的升级变化之路

#前言

大概是2020年左右开始组装NAS,最开始使用的是windows环境做的,放在飘窗上,轻度使用。windows长时间开机后会卡死。后来在2022年的时候升级更换了配置,也转到了truenas环境下。且配合另一台PVE虚拟机使用 。整套设备全放在阳台以隔绝噪音,解决散热问题。由于长期在半室外,所以看起来比较伊拉克成色。 😅

#硬件规格

升级改造前

升级改造后

NAS主要配置:

CPU: intel E5-2667 v2 *2

内存: 三星ddr3 32G*20 共640G REG ECC内存

主板: 浪潮M2220 C602主板

显卡: 板载集成显卡

电源: 1200W冗余双电源

网卡: Mellanox MCX314-BCCT 40G网卡

机箱: 4U 24盘位 带扩展背板机箱

硬盘: 28块机械硬盘+5块SSD

PVE虚拟机配置:

CPU: intel E5-2667 v2 *2

内存: 三星ddr3 32G*8 共256G REG ECC内存

主板: 浪潮M2220 C602主板

显卡: 板载集成显卡

电源: 750W冗余双电源

网卡: intel X540万兆电口网卡1 Mellanox MCX314-BCCT 40G网卡1

机箱: 4U机箱

40G网卡:

NAS是做的纯NAS使用,系统使用2块256G固态盘安装,12块16T西数矿盘做raidz2池,有2块280G傲腾盘做LOG盘,1块2T intel P4500固态做缓存盘。还有2块14T做镜像池,4块8T镜像池和10块3T镜像池。(不插满不舒服星人 ) 😂

用了一张PLX 8643 pcie转U2 4口的扩展卡来接傲腾和P4500,HBA卡使用的LSI 9207-8I(IT),选择这个浪潮主板的目的就是PCIE扩展多,一共有6个,3个X8,2X16而且互相不冲突,量大管饱。再加上使用DDR3内存,便宜。
NAS机扩展位置:

最开始只有24块机械硬盘机箱盘位刚好够用,后来增加了4块8T硬盘,所以用之前的硬盘笼做了扩展,外接了一个台式机电源,启动用了双电源启动起来配合工作。
另外4块盘的扩展:

PVE中跑了两个软路由,一个ubuntu,还有个windows的虚拟机。Ubuntu主要用作bt/pt下载。 有两台UPS提供后备电源,以防意外断电。通过NUT实现了断电自动关机。 所有设备都接在一个华三的带40G接口的万兆电口交换机华为CE6856 48口万兆电口+6口40G交换机上,H3C这款交换机没法降低风扇转速,很吵,现已经更换为华为CE6856交换机了,噪声有所降低,整个平台我现在是放在阳台上的。所有设备功率大概在800W-900W左右,电费感人(别学我 ) 😂 😂

NAS系统:

NAS传输速度:

加参数跑多线程速度能跑满

4
message-square
3
  • karminski-牙医MA
    8 hours ago

    iperf 可以增加参数试试,这个卡应该40G能打满的 (快让我看看打码的是什么 😆 )

    • xdddxxmxOP
      7 hours ago

      多线程的话可以跑满,没有启用RDMA下单线程各种调教都跑不满。CPU主频低了也会跑不上去,这个是大奶机到nas的速度,nas回来就回慢些。(不是什么奇怪的东西 🤣 😅)