张双
安科瑞电气股份有限公司 上海嘉定 2018011
摘 要：本文以多个实际工程为例，从机房建筑布局、空调方案、维护操作等多方面分析了影响数据中心主机房机柜布置的关键因素，提出了提高机柜布置率的方法。
关键词：数据中心；主机房；机柜布局；空调系统
1引言
随着国家对战略性新兴产业的重视，对云计算、下一代网络的积极推进，IDC 市场迎来了发展机遇。2015 年，中国 IDC 市场规模达 518 亿元，比2014 年增长 39%。2015 年国家宽带提速，“互联网 +”向产业加速渗透，带来互联网流量快速增长，拉动对数据中心等互联网基础设施需求的增长。数据中心基础设施的建设进入一个新的高潮。在数据中心的规划建设阶段，对数据中心的规模、容量、等级的规划设计，将直接影响到数据中心投资、运营和收益。其中，提高数据中心的出机柜率，是数据中心建设方、设计方一直致力研究的课题之一。目前市场上 IDC 价格体系中，主要以机柜数量、单机柜供电能力、带宽等为基准进行价格测算。因此提高主机房使用率即提高主机房内机柜布置率，是 IDC 业务提供商提高业务收入的主要途径之一，在数据中心基础设施建设中显得尤其重要。
2主机房机柜布局原则
主机房，是数据中心安装机柜的空间。机柜布置时，要考虑较多影响因素，如机柜搬运、维护操作空间、IT 设备系统与供电系统、制冷系统的匹配等问题。图 1 为 典型的机房布局示意图。
2.1 基础设施能源利用优化
各机房空间内，单个模块的 IT 设备、电源、空调等系统尽量达到匹配和平衡。主设备系统、空调系统、气流组织系统、供电系统、智能监控系统应综合集成，提高机房空间利用率。
图1 典型的机房布局示意图
2.2 合理搬运维护通道
机柜布局时，应充分考虑维护人员安全、设备搬运、 检修维护需要的空间。根据规范要求，机房内主运输搬运通道的宽度为 1.5 m，次通道的宽度不小于 1 m。成行排列的机柜，两个出口通道之间的距离超过 15 m 时，在两个出口通道之间增加出口通道。
2.3 机柜按区分冷热通道排列
机房的机柜布置采用“面对面、背对背”的排列方式，分出冷通道和热通道。机柜列间距综合考虑工艺设备安装需求、日常维护需求、地板规格等，并根据机柜装机功率密度和气流组织的需求，确定机柜列间距离。
2.4 机柜系统标准化
在满足客户需求的前提下，主机房内的机柜系统尽量采用标准机柜。标准化机柜尺寸一致，供电、送风方式相同，利于机柜布局便于统一安装、维护。
3主机房机柜布局影响要素分析
主机房空间内一般包括机柜安装空间、机柜搬运空间、线缆竖井及空调末端空间等。主机房内机柜布置能力，可以用主机房的单机柜使用面积来衡量，即：
单机柜使用面积=主机房使用面积 / 机柜数量（1）
单机柜使用面积（平米 / 架）越大，说明主机房内安装的机柜数量越少。因此，通常我们追求更小的单机柜使用面积。
影响主机房单机柜使用面积的主要因素有：机柜尺寸、机房空间尺寸、空调末端形式和机柜配电系统。
3.1 机柜尺寸的影响
机柜尺寸有宽、深、高 3 个维度。机柜尺寸是由其内部安装服务器和设备情况确定的。机柜的宽度、深度对出机柜率影响较大。机柜的宽度，确定了每列拟安装 机柜机柜数量。一般而言，IT 标准机柜宽为 600 mm，部分网络设备机柜宽 800 mm。显然，机柜越宽，同一 列内安装的机柜数量就少。
机柜的深度，影响到机房内机柜列数，同时影响到机柜列间搬运维护间距的取定。随着服务器运算能力提升，服务器深度有加大的趋势，因此机柜深度尺寸也逐步从 1 000 mm 提升到 1200 mm。部分存储机柜深度达1500 ～ 1800 mm。
机柜深度1 000 mm 时，考虑服务器和机柜的搬运，其前维护间距可考虑为≥ 1 000 mm。如果机柜深度为1 200 mm，此时一般服务器深度较大，达800 ～ 900 mm，考虑服务器和机柜的搬运，其前维护间距就考虑为≥ 1 200 mm。这样机柜深度越大，在同样空间，能安装的机柜列就少。
因此在同样空间大小情况下，机柜尺寸越大，能安装的机柜数量相应地就少。
3.2 机房平面布局的影响
为保障主机房的使用率，主机房以矩形为佳，原则上不采用弧形、三角形等异形平面。主机房的长度、宽度尺寸，对机柜的布置和数量有较大影响。
3.2.1 机房长宽取定原则
机柜布置，分为两个方向即标准列长方向和列数方向，机柜布置与机房布局方向的关系图如图 2 所示。
图2 机柜布置与机房布局方向关系示意图
机房的宽度方向，一般设置与机柜标准列长方向平行。此时机房的宽度设置需要考虑机柜标准列长、机柜搬运通道、空调末端区域宽度的需求。如机房空调末端采用冷冻水型机房专用空调并单侧设置空调区域的机房，其宽度设置为：
机房宽度 = 空调末端区域宽度 + 主搬运通道 + 标准机柜列长 + 次搬运通道 （2） 当机房设置单面空调区域时，机房宽度一般可以设置在 17 ～ 20 m 左右；设置双侧空调区域时，机房宽度须加大，宽度修正为不低于20 m，以获得更佳的出机柜率。
当采用机柜级制冷方案时，可不考虑空调末端区域宽度。
机房的长度方向，与机柜列数方向平行时，长度的决定因素是机柜深度和列间距。目前，
设机柜厚度为 H，热通道间距为 R，冷通道间距为L，机房内设置 n 列机柜时，建议机房的长度设置为：
机房长度 =n×H+(n/2)×L+(n/2+1)×R ( 当 n 为偶数时 ) （3)
机房长度 =n×H+((n+1)/2)×L+((n+1)/2)×R (当 n 为奇数时 ) （4）
目前多数机房都考虑了机柜的冷热通道隔离，采取 了冷通道封闭或热通道封闭等措施，因此在可能的条件 下，机柜列数 n 以偶数为佳（如 n=6 或 8 或 10 列等）。
3.2.2 机房面积规模的影响
一般情况下，主机房的面积越大，装机率越高。目前影响机房模块使用面积大小的主要决定因素，是消防 气灭系统对机房容积的要求。根据相关消防规范，每个气灭防护分区总容积率不能超过 3 600 m3 ，因此在气灭系统容许的范围、合理层高情况下，加大机房使用面积， 提高机房装机能力。
如果两个机房尺寸完全一致，机房长度和宽度一致，但是其内部机柜布局呈 90°调整，即机房 I 机柜列平行 于机房宽度布置，机房 II 机柜列平行于机房长度布置， 哪个机房的出机柜率更高呢?
图 3 为机房 I 和机房 II 中的机柜布置图。两个机房尺寸相同，但是机柜布置方案不同，呈 90°调整。机房 I 和机房 II 的机柜布置指标见表 1 所示。
图3 机房I和机房II机柜布置对比项目
表1 机房I和机房II机柜布置指标表
由表 1 可知，机房 I 和机房 II 虽然面积相同，但其中布置的机柜数量有一定差距，差距达 8% 左右。原因是因为机房 II 机柜标准列长度较大，空调送风距离长，因此需要双面送风设置双侧空调区域 ；并且其机柜列的长度超过 15 m，根据规范要求，考虑维护和搬运安全，需 要将机柜列中设置中间搬运通道，这样机房 II 的辅助区 域空间占比变大，机柜实际安装面积减少。由此可得出，通常情况下，主机房面积越大，机房出机架率越高；在相同机房面积情况下，机房长度如与机柜标准列方向一致时，机房出机架率越高。
3.3空调末端方式的影响
目前在机房中，常见的空调末端形式主要有：冷冻 水型机房专用空调、列间空调、热管背板和水冷冷门方式等。这4种空调末端方式在机房内布置方式各具特色，冷冻水型机房专用空调一般在机房设置一侧或两侧设置 空调末端布置区域；列间空调方式是在机柜列中布置 空调末端机柜 ；而热管或水冷冷门方式是将空调末端 的制冷板挂在机柜后门处或前门处。本研究以某标准 化机房为基础，考虑不同种空调末端方案时，主机房 内机柜布置情况。考虑热管和水冷冷门方式对机房布 局影响一样，因此本研究将其归为同一类情况分析。 根据数据中心机柜功耗发展情况，本文以单机柜功耗为 5 ～ 7 kW/ 架的主机房需求为研究对象。
图4 不同空调末端方式时机柜布置图
图 4 为相同机房、单机柜平均运行功耗 5 kW 时 3 种不同空调末端形式下主机房机柜布置图。
图 5 是对上述相同机房尺寸不同空调末端方式时，机柜布置指标分析图。
可以发现，一般情况下，在出机柜率方面，柜式的热 管背板或水冷冷门末端方式优于行间级的列间空调末端方式，房间级的冷冻水空调末端方式机柜使用面积大。
3.4机柜配电系统的影响
在主机房机柜布置中，配电机柜成为必不可少的要素，其在主机房占位因素，正逐步被大家关注。
目前数据中心服务器存储设备等，多采用交流 220 V 供电，部分系统或设备采用直流 -48 V 供电。对于交流供电时，通常在每个机柜标准列内设置一个配电柜（PDF），对于-48V 直流供电时，考虑压降因素等，通常需要在每个机柜标准列内设置多个配电柜，列头柜、列中柜和列尾柜等。根据工程统计，交流供电时，配电列头柜一般占机房内机位 5% ～ 7% ；而直流供电时，配电柜一般占位超过 10%。
因此，配电柜的设置，对主机房机柜布置和出机架率，有非常重要的影响。
图5 不同空调末端方式时机柜布置指标分析图
4提高主机房机柜布置率的措施
通过上述分析，为提高主机房机柜布置率，降低主机房机柜使用面积，可以采用如下措施进行优化。
4.1机柜尺寸标准化
机柜尺寸直接影响到机房的列间距确定和机房宽度 进深设置。机柜尺寸的标准化，有利于机柜列间距标准化、机房布局标准化，对机房运维标准化、流程化有重要意义。
对于特殊尺寸的机柜，在不影响相同功能情况下，建议在机房模块内单独设列，该列的维护间距特殊考虑，或者特殊尺寸机柜单独设置在机房空间。
4.2机房布局合理
机房面积设置时，应满足消防要求、机房功能定位需求，并综合考虑其供电制冷系统能力基础上，设置机房模块面积。
机房应优选矩型形状，其宽度和长度应合理安排， 建议机房宽度与机柜标准列长平行，依据空调末端方式 确定，不宜过长。机房长度方向的设置以满足相关要求和功能需求的值为宜。
4.3优先选择柜级制冷的空调末端方案
在机房长宽确定情况下，机柜级制冷方案——热管或水冷冷门方式情况下的主机房单机柜综合使用面积小；冷冻水型机房专用空调方式情况下主机房单机柜综 合使用面积大，因为此时需要设置一个空调末端专用 区域，需要考虑空调设备的安装及检修等空间等。本研 究案例分析得出，机柜级制冷方案时主机房出机柜率比 房间级的空调方式下布局提升约 20%。
通常，当IT单机柜运行功耗越大，主机房单机柜 综合使用面积取值应随之增加，但采用机柜级制冷方案时，主机房单机柜综合使用面积基本不变。因此建议在满足机房制冷需求，基础设施维护能力可行时，应优选机柜级制冷的空调末端方案，提高机房的出机柜率，获得较好的主机房制冷效率。
4.4采用机架母线供电方案
为提升主机房出机架率，机架配电母线方式已在部分新建数据中心中推广采用。
机架母线配电方式，是采用“始端箱 + 母线槽 + 终端箱”供电方式，以替代现在常用的精密列头柜及其输出电缆。机架配线母线方式，可以机架列为单元灵活调配单个机架用电功率，显著节省列头柜占地、降低建设成本。采用机架母线配电方式，主机架出机架率将提 升 5% ～ 10%。图 6 为机架母线配电方式的布置示意图。
图6 机架母线配电方式布置示意图
5安科瑞ANDPF精密列头柜介绍
5.1产品介绍
随着数据中心的迅猛发展，数据中心能耗问题也越来越突出，可靠的数据中心配电系统方案，是提高数据中心电能使用效率，降低设备能耗的有效方式。
AMC系列数据中心精密配电系统是针对数据机房末端设计的，能够综合采集所有能源数据的智能系统，为交直流电源配电柜提供精确的电参量信息，并可通过通讯将数据上传到动环监控系统，实现对整个数据机房的实时监控和有效管理，为实现绿色IDC提供可靠保证。
5.2安科瑞精密配电产品解决方案
1）交流系统
功能要求
遥测：输入分路的三相电压、三相电流、频率、有功功率、有功电度；
遥信：输入分路的过压/欠压，缺相，过流，频率过高/过低，输入分路的开关状态，具备电流、功率需用量分析和统计，实现电压、电流、频率等参数的越限报警功能。
配置方案如图7，
图7 交流系统配置方案
2）直流系统
功能要求
遥测：输入分路的电压、电流、功率、电度；
遥信：输入分路的过压/欠压，输入分路的熔丝状态，具备电流、功率需用量分析和统计，实现电压、电流、功率等参数的越限报警功能。
配置方案如图8，
图8 直流系统配置方案
5.3产品选型
表2 精密列头柜产品选型表
6安科瑞智能小母线监控系统介绍
6.1产品介绍
针对数据中心智能小母线的监控要求,安科瑞推出了AMB系列小母线监控解决方案，该方案包括采集模块、配套附件、监控系统,能对母线运行过程中的各种参数进行监控，发生故障则进行告警，以保证系统稳定运行。
AMB检测单元是针对数据中心智能小母线插接箱/始端箱的监控要求新设计的产品，该检测单元安装固定在插接箱/始端箱内部，插接箱/始端箱采用方式与母线连通，它集成全部电力参数的测量(如单相或者三相的电流、电压、有功功率、无功功率、视在功率、频率、功率因数)以及电能监测和考核管理。同时可以实时监控母线接口温度，配合2路Rs45通讯接口（1进1出）或LORA无线通讯，采用MODBUS-RTU协议可以方便可靠的将监测数据上传至主控箱和后台系统，保证系统安全可靠运行。
6.2产品选型
安科瑞智能母线测控仪表选型如表3
表3 安科瑞智能母线测控仪表选型表
注：AMB100用于始端箱、AMB110用于插接箱、A-交流系统、D-直流系统可选配AMB10显示器，显示器只循环显示电压、电流参数。
7结束语
提高主机房的出机柜率，降低主机房单机柜使用面积指标，一直是 IDC 业内人士能力的目标，是机柜提供商利润的重要来源之一。
【参考文献】
张广明，陈冰，张彦和．数据中心基础设施设计与建设[M]．北京：电子工业出版社,2012．
孙丽玫．数据中心主机房机柜布局的研究[J]．电信工程技术与标准化,2017．(01):6-10．
[3] 安科瑞企业微电网设计与应用手册.2020.06版.
作者简介：
张双，女，本科安科瑞电气股份有限公司，主要研究方向为数据中心精密配电监控系统
手机：13916280434（微信同号）；QQ:2885039098；邮箱:2885039098@qq.com