gigantea @ c/homelab · 5 days ago

[第一届晒机大赛]一个普通玩家的进化思路和系统工程

大家好,我是一个不喜欢活跃社区的纯家庭NAS玩家。( 虽然NAS到最后就成了数据中心需求者 ) 一.心路历程 还记得,以前我还是个小宅男的时候,在看加速猪的时候就对作品中描述的家庭服务器和服务展示非常感兴趣。那个时候是我第一次了解到家庭服务器的概念,所以我也就顺势在淘宝上了解了什么是NAS。氮对于那个时候还是个初中生的我而言,这NAS的价格实在是难以接受的,就这样一直怀揣着对NAS和家庭服务的憧憬到了大学之后开始工作。这个时候我终于有钱了,可以开始构建动漫中的那种家庭服务了。激动的心情马上就再度被显示所浇灭,面对着刚入职堪比看门狗的基础工资和对NAS的实绩服务能力了解之后,我深深的明白憧憬只不过是憧憬而已。 但,这个时候身为宅男的我还是忠于了折腾的本能。只不过是无法再让我去为那无法达到憧憬的功能而付出那么多的精神了,所以我选择了DIY!!!! 二.折腾之路 最先,我所选择的是QNAS,因为它便宜且国外大厂,应该能保证最基本的功能。但是我所买的却是黑群晖,因为太便宜了! 最初采购的时候我就知道了QNAS和群晖的存在,作为较大的品牌方,我深信双方的系统稳定性,但是QNAS就是比群晖整体价格低,群晖的卖点是比QNAS还强的系统,所以我也纠结过。只不过这种纠结马上就被黑群晖杀死了,因为那个时候是刚矿潮结束没多久的缘故,所以刷了黑群晖的蜗牛星际大兴小黄鱼平台。在面对着除了少数功能不能用和足够低的价格诱惑下,我选择了黑群晖作为我的折腾之路。 第一年,也是黑群晖的服役之年,我为了学习从未接触过的LINUX系统而购买了《鸟哥的私房菜》进而开始了正式的了解和学习和使用。但随着需求的确定,我发现黑群晖的性能根本就无法满足我的需求。因为是死宅的关系,我对动漫影音库有着较高的需求,所以我最先采购了2块西数红盘4T的组成了RAID1阵列。但是我很快就发现我存储的动漫影音资料增长速度不是RAID1和4盘位能够支撑的,所以我抱持着亡命之徒的心态把RAID1改成了RAID0,之后又添加了一块硬盘,组成了12T的储存阵列。但是,受限于红盘5400转的物理限制,存储库的存储数据速度让我不太满意,所以我开始了折腾万兆网卡和存储缓存,于是又买了2块800G的sata ssd做缓存盘。当然,这个时候蜗牛星际的外壳已经没用了,因为放不下那么多东西,所以我拆了之后一直是裸机运行。 第二年,发生了一件大事,那是让我升级第二个NAS的故事,在一个夏天,在我还在上班的时候家里意外断电了!是的,结果你们应该都能猜得到。当我回家准备打开电视和plex准备享受边吃边追番的休息时光时发现,存储池损坏!当时的我心都凉了,悲伤着拆机的同时,我把硬盘接到主机上准备查看修复的可能性,结果才发现,数据根本没损坏,指示SMART报警,因为硬盘有了坏道就强制下线了。这个时候我才意识到了黑群晖对硬盘坏道的容忍性是异常的低的,而WIN系列的系统却没这毛病。所以我萌生了开始折腾新NAS的思路。 在经过硬盘坏道但却没有损失数据给我的冲击之后我开始人真研究各个NAS系统的特点,其间我折腾了freenas,unraid等X-nux系列系统之后我重新确定了我的需求。 1.我需要unraid的不raid组建大容量数据库的需求,而且还是极高性价比的,而且还是能够单盘损坏而不会对整体存储池有任何影响的。 2.我需要尽可能多的sata接口来扩展盘位。 3.与其用nas盘这种性能又低又贵还坑爹的盘,不如直接上大容量,越大越好的那种。幸好在转移被下线的raid0数据时我接触到了HC550。 4.我需要更高的性能去折腾更多的功能,以及更高的扩展性和极低的功耗,以及极佳的稳定性。 结合上述4 点需求我理所当然的将目标转向了X86 PC,恰逢那个时候ryzen1代上市,我在白嫖王的某期节目中看到了AMD和INTEL在闲置极低功耗下的性能表现,发现AMD更强,所以我就马上入手了1700X和X370主板,在经过了几天的折腾之后,我确定了我的需求。我不需要显卡,我不需要8C16T,所以就再度入了一块ryzen3 1200。之后就是确定作为NAS的系统为何。 在之前的折腾过程中我对linux系列,不对,应该是X-nux系列的系统有了足够的了解,所以我知道它们无法满足我那简单好用直白好上手的理念,以及对存储系统有着极强稳定性(不下线)的追求。所以我选择了win,又因为那个时候对于win系统的臃肿吐槽不断,所以我选择了目的针对性更强的win server,开启了我接下来5、6年的折腾之路。 之前也说过,因为不需要核显,所以我采用的是X370无头驱动,所以整个平台功耗压到了18W左右。当然对于一些低功耗芯片是不够看的,但是别忘记了,这玩意儿本质上是一台pc,也就是说如果我需要性能释放,我把功耗闲置解除直接拉上去就行,而j1900等芯片却不能去不断超频的赶上标压平台。 在配置存储阵列的时候,我其实是目标明确的按照unraid的方式建立的,那种类似jbod但是又不会因为一个盘的损坏导致整体阵列不可用的状况。所以在多方的查询资料之下,我有了2个选择,付费的图形界面的stablebit drivepool以及免费的命令行的方案。当然,作为忘记的结果来说那就是我上了drivepool的方案,不就是30刀嘛,那个时候爷有钱啦! 于是,在确定了server2018+drivepool的方案之后我马上就面对着吞吐IO的性能考量(其实是多虑了),因为就我一个人用,我能有多高的IO需求?所以我需要考虑的就是足够快的存储速度就行了,也就是那个时候我又埋进了企业级SSD和个人SSD的坑。因为有之前转移10T多资料的经历,所以我深深的理解确保速度又高又快需要的是什么SSD。所以我就毫不犹豫的入手了当时刚上市的傲腾900P 480G版本,又因为送的渡鸦兑换卡,我顺便踩入了另一个天坑星际公民,不过这个是后话了。 就这样,我最初的DIY,第二个NAS,就是1200+X370+ 16G DDR4+intel 700p+傲腾900P 480G+万兆OCP光卡的组合。HDD选择的是HC550。然后这个组合一直运用至今。只不过期间换了不少硬件就是了。但整体软件平台和存储阵列却没怎么变动过。 在一年加一块16T HC550的前提下,这套X370平台我用了差不多3年多的时间。在每年的资料增长量都保持在了8TB左右,因为入了PT的坑。 当然,这3年多的时光并不是完美的,因为我发现了一部分让我接下来好几年都无法解决的问题,也就是系统问题。
首先,如你们所见,driverpool确实异常的稳定,你们能够在图片中看到有个HDD报文件系统错误,但是整体持和数据都没有任何问题,都处在健康状况下。而唯一导致这文件系统损坏的原因还在于中间我想上服务器存储阵列搞了个浪潮5212M4+3008阵列卡搞出来的,在软raid的前提下,这套系统一直稳定运行至今,而在硬 raid的前提下却没2到3个月就损坏了,之后我就拆了继续用软raid稳定运行至今。 其次,我无法解决HDD企业盘运行时发出的炒豆子声+温度高的风扇声+硬盘的低频震动,白天的时候还好,晚上的时候确实是影响人的休息,这也是为何我会上之前提到的服务阵列的原因。因为我听说企业级的机头有防止震动的卡扣设计。结果反而却是硬盘系统损坏不说,功耗徒增30W,低频和炒豆子声音根本就没解决,室内温度随着功耗的增加反而也上升了。夏天的时候我的卧室内温度能上到40度。见了鬼了的体验。 在一系列的问题加持下,让我有了第三次折腾的需求,同时也是个人对虚拟化需求开始的元年。因为要做智能家居所以HA,因为要做全家科学环境,所以openwrt。因为家里服役的主路由华硕AC86U太老了,所以上ikuai。因为要开我的世界、帕鲁等游戏服务器,所以各种需求内存。这就让本就不堪重负的硬件资源变得更是不能稳定运转了。 所以,喜闻乐见的第三次折腾期开始了,第三次的目标很明确在现有基础上升级硬件,所以就是单纯的升级成了服务器平台并在家里的衣柜开孔布线等等,准备解决噪音、温度、硬件性能带来的闲置。 第三次我所选择的硬件是S8030+7302P+64G DDR4 RECC+pm983 4tb。因为我通过漫长的运行发现,我需要的其实并不是存储缓存,而是缓存存储。存储缓存是将本地文件放到目标存储池中的缓存,而缓存存储是临时放置大量文件的高性能存储空间,这就变成了存储分层的需求。所以我下了傲腾上了三星企业级4TB。 S8030平台选择的理由是,它自带2个万兆电口+便宜,所以我把我的ST1008F非网管光交换机换成了mikrotik的8千兆2光口交换机。顺便家里的路由器升级成软路由之后WIFI选择了aruba的企业级解决方案。从最初的小微企业级的AP,到后面的AP204、AP325、AP555。目前全家就是这套AP555的4AP无缝漫游节点网络配置。 这套系统哪里都好,要性能有性能,要稳定有稳定,要静音有稳定,要 功耗有稳定。但是,S8030本身却有个致命深坑,那就是第一次开机居然要40分钟,热启动要5分钟!我不理解!在遇到家里意外断电恢复之后那段等待系统重启的时间让我想死!我不理解为啥它会这么长时间来重启。 后来实在是受不了的我,又换回了家用平台。也就是第四个NAS,5600G+X570太极+32G内存+万兆光卡。这里着重提一点,那就是其实抱持着第一次微星X370无头驱动的产品稳定性,我是最先买的X570UNIFY的,但是这玩意儿居然不支持无头启动,微星你是想告诉我说你家板子高级的必须要用显卡才配得起吗?最终在B站寻求林大无果之后,我只能掉头去买个X570太极+5600G,因为微星的X570还特么没有板载核显输出通道,必须要上显卡,而显卡的功耗是我不能接受的,哪怕是待机,整体平台也赶超服务器平台了! 但是,这套系统不够稳定!是的,家用平台,X570太极+4根内存的前提下,稳定!!!!!!,在面对着动不动就掉内存,服务崩溃的一系列头疼问题之后,就是目前的终极解决方案!买新房三.新家设计思路 因为HC550的噪音、功耗、温度、低频共振问题始终无法解决,因为服务器整体平台散热需要的问题,我终于还是下定决心买新房,自建机柜,解决能源利用率的问题。而其结果,就是我照片所示的。
通过我这将近8年的折腾,我终于理解了所谓的噪音、温度、低频共振问题,其实是个系统问题,而功耗问题,其实是能源回收再利用的问题。所以我对服务器和机柜进行了重新规划。 1.为了保证温度,需要大量的空气,也就是要有进气口。 2.为了保证静音,需要一个密闭的空间。 3.为了保证功耗不被白白消耗,需要让废热做功! 4.为了确保新家的网络稳定,需要稳定的AP做全屋无缝漫游覆盖 5.为了确保美观,需要装修时提前规划好点位和布暗线。 所以,我充分考量了之前几年的失败,寄出了现阶段的配置。 1.全屋4台aruba ap555组网做只能家居和全家wifi,采用2.5G POE交换机供电,确保简洁高效稳定的体验和最低的装修成本。 2.为了应对静音,策划距离休息区最远的阳台角落做落地柜来做单独的服务器机柜,同时抛弃老式服务器机柜,采用木板封闭+吸音棉+隔音棉的组合套装来降低声音的对外传播。 3.为了应对温度,柜顶开孔的同时阳台做吊顶也开孔,确保了进风口和网线的进入口,然后在下面柜子上避免声音的桥接做了双层板中间夹层隔音棉,并且开孔向下抽风。同时阳台吊顶安置电动晾衣架用4根膨胀螺栓固定,同时膨胀螺栓的开口就形成了天然的去机柜的吸风进口。
4.为了保证能源的回收再利用,我是打算上分水器+全屋地暖的热交换方案的。因为哪怕冬天地暖供水,水温也不过50度,而服务器的芯片工作温度70度都是太常见了,所以我一开始是打算在服务器下面的风口再装个分水器和换热器把热量引入地暖中的,不过实在是需要大改柜体结构所以作罢了。只能将风扇的排风处的柜子作为干衣区使用了。 服务器废热排除的热风是源源不断的自上而下的吹入下面的橱柜,因为有开通风孔的缘故,热风伴随着噪音可以被沉重的湿衣服所吸收,因为是加压区的缘故,湿气和热量只能沿着通风孔排出到客厅空间。而且考虑到疫情等原因,需要消毒,所以打算日后在柜子里面再装入紫外线杀毒灯。这样也可以当做快递、碗筷等的消毒柜使用。 如图
如各位所见,经过最少3层系统性的消音工作之后,噪音被压制到了背景音以下的水平。 同时温度也如上图硬盘监控所示,最高只有35度,而且还是堆叠导致的风吹效率不高,而效率高的SSD,尤其是三星企业级,只有不到30度。可以说既降低了噪音又保证了生活舒适的宜居性。 然后我的最不重要的服务器平台,因为吸取了S8030的结果教训,选择的是H12SSL+7302+64GDDR4+mcx421+4*ARUBA AP55+tplink2.5g网管poe交换机。
整个机柜+网络工程的功耗是150W。按照国家冬季热力标准计算,只能确保2平米的房间供热能力。 四,未来展望和升级改造计划 如果还有再升级,届时我将会升级,全屋水冷=地暖的双重管线,将家中所有计算机设备做水冷改造,然后单独设立一台循环泵给全屋所有设备提供冷却,并逆流换热器与地暖换热,形成双循环。或者,入户地暖改造,屋内做全屋水冷地暖,入户处设置循环泵和换热器来和地暖入户管做换热,这样就能保证屋内地暖水质的稳定,避免5年10年后的地暖清洗的问题,同时增大电子设备的换热面积,为了以后越来越高的显卡功耗和CPU功耗做全屋冷却降温的同时,也能二次回收利用热量减轻供热压力,甚至在冬季上下层邻居都是地暖的条件下停冬季供暖的4000多暖气费。而且外墙或者顶楼设置光伏板做太阳能供暖供电,降低全屋功耗和损害,减轻对经济的损害。

2
message-square
1
  • karminski-牙医MA
    4 days ago

    换行需要上一行的末尾加两个空格,或者换两行(编辑器默认使用的是markdown)

    我全程都在看隔壁柜子里的馒头卡哈哈哈哈哈哈哈哈哈