技术 | 详解微模块数据中心布局及设计

微模块机房以模块化、标准化的架构和高效可靠的UPS、精密空调等灵活组合成功打造新一代模块化数据中心基础设施，以其快速部署、高效节省、智能管理等优点成为数据中心建设的关注焦点，微模块机房的优势具体表现在：

场景适应性强——最低只需2.6m的安装层高要求，在普通办公环境下即可进行部署;通过单双排灵活组合，最大化利用空间。

快速完成部署——一体化集成UPS、精密空调、配电、机柜、智能管理等主要子系统，即插即用;工厂预测试、预验证、预制，1到2周内完成现场部署，部署速度较传统提升50%。

模块化架构，满足高能效低PUE——优化的配电和制冷系统设计，采用密闭冷/热通道和行式空调近端制冷技术，实现PUE≤1.5，节省能耗30%以上;行级空调、高频模块化UPS、密闭通道、高集成配电柜的联合应用使PUE降至1.5以下。

智能化管理系统，实时可监可控——智能管理系统，实现实时监控;通过能效管理、3D虚拟展示等功能，显著提升数据中心的运维效率与体验。

微模块机房的设计原则

安全可靠性

高可靠性是数据中心运营成功的关键，也是数据中心的基本原则。因此决不能出现单点故障，要对数据中心的布局、结构设计、设备选型、日常维护等各个方面进行可靠性的设计和建设。在关键设备采用硬件备份、冗余等可靠性技术的基础上，采用相关的软件技术提供较强的管理机制、控制手段和事故监控与安全保密等技术措施提高机房的安全性。针对数据中心的网络方案，其可靠性设计包括：链路冗余、关键设备冗余和重要业务模块冗余。

可扩展性

数据中心方案设计中，每个层次的设计所采用的设备本身都应具有极高的端口密度，为数据中心的扩展奠定基础。在Internet互联层、核心层、分布层的设备都采用模块化设计，可根据EDC网络的发展进行灵活扩展。功能的可扩展性是数据中心随着发展提供增值业务的基础。实现负载均衡、动态内容复制、MPLSVPN、VLAN等功能，为数据中心增值业务的扩展提供基础。

标准化

在中心机房系统结构设计时，基于国家颁布的有关标准，包括各种建筑、机房设计标准，电力电气保障标准以及计算机局域网、广域网标准，坚持统一规范的原则，从而为未来的业务发展、设备增容奠定基础。

灵活性

模块化设计，可根据数据中心不同需求进行取舍，特别是后台管理平台设计思想，使得数据中心可实现对于不同用户的定制服务，如在后台管理平台中的用户数据备份中心、数据中心客户中心、数据中心维护中心，使得数据中心用户可以方便地进行对其应用的控制与更新。

可管理性

在建设数据中心时，随着业务的不断发展，管理的任务必定会日益繁重。所以在数据中心的设计中，必须建立一套全面、完善的管理和监控系统。所选用的设备应具有智能化，可管理的功能，同时采用先进的管理监控系统，实现先进的集中管理监控，实时监控、监测整个中心机房的运行状况，实时灯光、语音报警，实时事件记录，这样可以迅速确定故障，提高的运行性能、可靠性，简化数据中心管理人员的维护工作，从而为数据中心安全、可靠的运行提供最有力的保障。

数据中心微模块布局

庞大的数据中心内密布着一排又一排的机柜，机房层高很高，周边是宽阔的运输通道，顶部是横竖交错的母线排和消防照明等管路，服务器状态灯蓝光闪烁，总体非常简洁清爽。

微模块机房和传统意义上的数据中心有明显的不同，既没有送风地板，也没有空调吊顶风管或者空调间等，那么数据中心内部非常核心的散热空调在哪里?又是如何散热的呢?一排排机柜顶部的多个“烟囱”以及“烟囱”底下的厚厚空调盘管，这才是微模块数据中心散热的秘密武器。

1、数据中心微模块原理

数据中心机柜是以连体三联柜为最小的建设颗粒度，或者以6个机柜和置顶空调构成的的微模块为最小颗粒度来建设的。机柜还没就位时先用布帘子(或者白铁皮)挡住防止热气流外泄。

连体三联柜朝外侧为冷通道，内侧即空调下方为热通道，这样背靠背的两侧服务器机柜散发出来的热空气在机柜间的密闭热通道内聚集并自然上升，被顶部的空调盘管制冷后，再经盘管顶部的6个高效率EC大风扇带走，飘散到整个机房大环境中，然后冷空气自然下沉重新回到机柜的冷通道侧被服务器吸入，重新开始整个循环。整个过程中气流组织非常短而高效，几乎没有多少冷量传递损失，且符合热空气上升冷空气下沉的自然对流法则。热通道完全封闭后，空调送回风温差deltaT非常高，因此需要的空调风量较小，风机的转速较低，损耗也可以很小，真正实现高效散热的目的。

2、微模块机房内机柜单元和制冷单元布局

机柜每三个一组，顶部的TOR放在三联柜中间，每三个柜子依次排开。两排机柜间根据实际机柜的功耗和设备类型，搭配不同数量的制冷模块，比如高负荷的计算类机柜列比存储型的机柜列制冷模块要多。

如果出现部分区域的设备功耗密度较低，则可以多个三联柜共享稍微少量的制冷模块，这样制冷模块间的顶部空隙可以通过薄铁皮来封闭热通道，如果某个三联柜需要搬迁或者维修，则可以通过底部滚轮灵活由一个运营人员就可推走，但推走后的机柜位需要制冷模块正面的铁皮封板封堵住热通道，以免整个封闭热通道的热气流泄露到机房冷环境中。

3、微模块数据中心制冷基础设施

上图是包含了数据中心制冷基础设施的更为详细的剖面图，从这个图我们可以清楚看到冷站604提供的冷冻水通过地板下维护空间内(考虑地板下管路检修维护需要，实际goolge某个项目的地板下高度高达122cm)的冷冻水管614和612，送到机柜上方的制冷模块来带走设备产生的热量。

冷站604包括了冷却塔622、板式换热器626、冷机620和水泵624/616等，采用三通阀等设计，可以选择直接冷却或间接冷却。实际建设的时候，冷站也可以是模块化的工厂预制单元，运送到机房现场和对应的多排机柜列对接即可投入使用，真正达到了模块化快速建设的目的。冷站模块间的冗余，也可以通过将这些不同的冷站模块互联到公共接头的主环网中，通过互联互通的环网结构来实现冷站间的冗余，即便某个冷站故障也不会影响整个系统。

4、机房的温度设置得高能达到节能

数据中心为了节能运行，会将机房的温度设置得较高，整个机房作为冷通道，整体温度场较为均匀，且较为适合运维人员操作。服务器的进风温度往往高达27摄氏度甚至更高。热通道内的温度则高得多，甚至不适合于运维人员呆在里边，因此服务器全部设计成冷通道前维护。

比如热通道内的温度会高达43度以上，经过顶部空调盘管降温后的温度约为25摄氏度，deltaT高达18度，这样顶部空调的风量可大大减少，风扇也可低速运行功耗很低。同时整个机房采用高温27摄氏度运行，冷冻水供水的温度也可以设置在20摄氏度的高位温度，回水温度则约为40摄氏度，这样高温差运行也可大大节省水泵的功耗。如果冷冻水的供水温度可以达到20摄氏度，这样每年制冷主机真正需要开启的时间就非常少，甚至在欧洲的几个数据中心都实现了无冷机运行，而冷机能耗是机房内最大一块，所以这些设计可以大大节约能耗。

5、微模块机房整体布局建设

微模块机房空间非常开阔，由于面积很大，采用的是更为经济安全的水消防，顶部是照明和消防管网以及一排排的供电母线排，通过支路配线盒直接给机柜服务器供电。再往下就是直接架设在制冷模块顶部的走线桥架，以及三联柜微模块了。

先建设好置顶空调及配电接口泊位，采用三联柜的方式滚轮移动即插即用快速交付。机房还配备了梯子、叉车和移动工作台、简易维修工作台、工具箱等，方便现场运维。

采用微模块的方式建设数据中心，运维和搬迁等更为灵活和方便。通过整个机房的整个冷池作为缓冲，且考虑到了制冷模块、外部冷机等的冗余，可靠性更高，运营体验也更好。还可以根据不同设备类型和设备的不断升级更新等，灵活配置制冷模块来快速满足业务不断变化的需要。