软件学报  2014, Vol. 25 Issue (7): 1448-1458   PDF    
一种最小化绿色数据中心电费的负载调度算法
窦晖, 齐勇, 王培健, 张恺玉    
西安交通大学 电子与信息工程学院, 陕西 西安 710049
摘要:为了减少电费和碳排放,数据中心运营商开始建立就地绿色能源发电厂以进行供电.然而,负载的波动性、电价的时间差异性以及绿色能源的间歇性,给节约数据中心电费带来了挑战.针对以上问题,提出一种在线式负载调度算法,可以在不使用未来的负载、电价和绿色能源可用性信息的前提下,最小化数据中心的电费.首先,建立拥有就地绿色能源发电厂的数据中心的电费模型;然后,将数据中心电费最小化问题形式化为一个随机优化问题;最后,求解该优化问题得到相应的负载调度策略.基于真实数据的实验结果表明:该算法可以在保证负载性能的前提下,有效降低数据中心的电力成本.
关键词数据中心     绿色能源     电费     负载调度     Lyapunov优化    
Workload Scheduling Algorithm for Minimizing Electricity Bills of Green Data Centers
DOU Hui, QI Yong, WANG Pei-Jian, ZHANG Kai-Yu    
School of Electronic and Information Engineering, Xi'an Jiaotong University, Xi'an 710049, China
Corresponding author: DOU Hui, E-mail: douhui2002@gmail.com
Abstract: In order to reduce both electricity bills and carbon emission, data center operators begin to build their own on-site green energy plants. However, challenges arise with the fluctuating workload, temporally diverse electricity price and intermittent green energy. To deal with these challenges, this paper presents an online workload scheduling algorithm which can minimize the total electricity bills of a data center without any future information about workload, electricity price or green energy availability. First, a model for the total electricity bills of a data center is introduced. Then a stochastic optimization problem to minimize the electricity bills is formulated. Finally, solution to the optimation problem is made to form the corresponding workload scheduling policy. Experimental results based on real-world traces show that the proposed algorithm can effectively reduce the total electricity bills while guaranteeing the workload performance.
Key words: data center     green energy     electricity bills     workload scheduling     Lyapunov optimization    

为了给世界各地用户提供高质量的网络服务,大型互联网公司如谷歌[1]、微软[2]等都拥有多个分布在全球各地的数据中心.由于需要给数目巨大的服务器供电和冷却,数据中心的电力消耗已经占到全球电力总供给的1.3%,而且预计到2020年,这一数字将达到8%[3].巨大的电力消耗给数据中心的可持续发展带来了严峻挑战:首先,大量的电力消耗意味着巨额的电费支出.根据估算[4],谷歌公司每年的电力消耗达6.3x105兆瓦时,并需要为此支付高达3 800万美元的电费;其次,大量的电力消耗同时会对环境造成剧烈影响.预计到2020年,数据中心的碳排放量将占全球碳排放总量的2.6%,这一数字甚至超过了德国[5].

为了应对电力消耗给数据中心发展带来的挑战,苹果[6]等互联网公司开始在数据中心附近兴建自己的就地绿色能源发电厂.利用就地绿色能源发电厂为数据中心供电有以下优点:

第一,由于这些电厂主要利用风能、太阳能等可再生能源进行发电,所以可以减少数据中心的碳排放总量,减轻数据中心对环境的影响;

第二,兴建就地绿色能源发电厂可以作为一种长期投资.以风力发电厂为例,虽然初期投入成本很大,但是就地电厂的年度运转支出仅为10美元/兆瓦时左右[7],远低于电力市场中的市电价格.所以,建立就地电厂可以减少数据中心的电费支出;

第三,利用就地电厂的电力,数据中心可以避免电网不稳定甚至故障带来的经济损失,这在一些发展中国家尤为重要.

但是,利用就地绿色能源发电厂为数据中心供电同时也带来了新的挑战:

· 首先,由于风能、太阳能受自然条件的影响很大,所以绿色能源的输出具有间歇性的特点.同时,云计算数据中心面临的负载也具有高度的波动性.因此,虽然绿色能源的价格较低,但是为了在减少数据中心电力成本的同时不影响网络服务的质量,数据中心必须对负载进行合理的调度;

· 其次,在美国、欧洲等地的电力批发市场中,数据中心面临的市电电价是随时间变化的[4].在中国,虽然电力产业市场化仍处于起步阶段,但是北京、上海等地已经开始实行分时电价[8, 9].值得注意的是,虽然绿色能源的价格整体较低,但在某些时刻却高于市电价格.因此,为了减少数据中心总的电费支出,负载调度还必须考虑电价的时间差异性;

· 最后,在进行负载调度时还需要考虑未来的负载、电价以及绿色能源可用性信息,而这些信息在调度时是未知的并且很难准确预测.

综上所述,如何在不使用负载的波动性、电价的时间差异性以及绿色能源的间歇性等未来信息的前提下,为拥有自建绿色能源发电厂的数据中心设计负载调度策略,从而在保证服务质量的同时使数据中心的总电费支出达到最小化,是一个颇具挑战性的问题.

为了解决以上问题,本文基于最近在无线网络领域内被广泛使用的Lyapunov优化技术[10, 11],设计了一种在线式负载调度算法OEBM_WOFK.该算法能够在不使用任何负载、电价和绿色能源可用性的未来信息的条件下,最小化数据中心的电力成本.特别地,算法可以在数据中心电费和负载性能之间加以权衡.在真实数据基础上进行的实验结果表明:相比于只考虑当前信息的简易在线式负载调度策略,OEBM_WOFK算法在保证负载性能的前提下,可以节约33.2%以上的电费;随着负载平均延迟的增加,OEBM_WOFK的结果可以任意趋近于已知未来信息的离线式负载调度算法.

本文第1节讨论相关工作,同时进一步说明本文与已有工作的区别和研究意义.第2节建立并解释与数据中心电费相关的模型,将数据中心电费最小化问题形式化为一个随机优化问题.第3节给出求解该优化问题的算法.第4节采用实际数据对算法进行实验验证和比较分析.第5节总结全文并指出下一步的工作方向.

1 相关工作

为了保证网络服务质量,数据中心的规模越来越大.如何减少数据中心面临的巨额电费,成为国内外研究的热点.目前的研究工作主要分为利用功耗管理节约电费[12, 13, 14, 15, 16]、利用市电电价的差异性节约电费[4, 17, 18, 19, 20]以及使用绿色能源节约电费[5, 21, 22, 23, 24]这3类.

由于数据中心的电费与其消耗的电力紧密相关,因此可以通过降低数据中心的功耗来减少电费.为了保证服务质量,数据中心的服务器通常处于开机状态.由于负载的波动性,这些服务器很少能够同时被充分利用,从而浪费了大量的空闲能耗[25].Chase等人[12]通过把数据中心面临的负载集中到部分服务器上去处理,而把剩余的服务器关闭来减少数据中心的能耗.动态电压频率调整(DVFS)[13]是另一种常用的降低数据中心能耗的技术,它通过降低利用率较低的服务器的CPU频率来节约能耗.Elnozahy等人[14]则探讨如何综合利用服务器开关机策略和DVFS策略来尽可能地减少数据中心的能耗.华中科技大学的邓维等人[15]研究了虚拟化数据中心的能耗管理机制,包括服务器整合策略、虚拟机在线迁移策略以及迁移整合时的开销.同济大学的谭一鸣等人[16]提出一种通过任务调度方式管理数据中心能耗的方法,该方法能够在满足性能约束的前提下最小化数据中心的期望执行能耗.但是,这些工作的主要目标都是最小化数据中心的电力消耗而不是电费,因此并没有考虑利用电价的差异性以及使用绿色能源来节约电费.

Quereshi等人[4]首次提出利用电价的时间和地域差异性,通过将负载调度到电价较低的数据中心去执行来减少电费.此后,Rao等人[17]综合考虑多个电力市场的电价差异以及负载的性能需求,通过求解优化问题得到数据中心电费最小化的负载调度策略.Wang等人[18]指出:数据中心的电力消耗会影响市场电价,减少数据中心的电力成本必须考虑负载调度对电价的影响.Zhang等人[19]则根据数据中心的实际需求,提出一种可以将数据中心电费限制在预算之内的负载调度策略.该策略首先根据电价差异性进行最小化电费的负载调度;当电费超出预算达到一定阈值时,该策略通过推迟低优先级负载的执行来确保电费不会大幅超出预算.Urgaonkar等人[20]首先提出运用数据中心已有的储能设备,如UPS电池来节约电费,其主要思想是:在电价较低时对电池充电并在电价较高时放电,从而降低数据中心的电力成本.本文与这些工作的最大不同之处在于,本文主要解决数据中心如何使用绿色能源来节约电费的问题.

随着环境问题的日益严峻和生产绿色能源成本的降低,数据中心如何使用绿色能源来降低电力成本成为研究热点.Liu等人[21]假设电力市场中绿色能源价格低于传统市电价格,因此将负载调度到电价低的数据中心去执行,可以在最小化电费的同时最大化地使用绿色能源.Le等人[22]则认为:绿色能源电价较高,并在传统市电使用量受到限制的约束下最小化数据中心的电力成本.然而,Gao等人[5]通过对实际数据的分析发现:绿色能源的价格与市电价格之间没有必然联系,并在此基础上给出一种权衡数据中心电力成本、碳排放以及负载性能的调度算法.Ren等人[23]分析了数据中心使用绿色能源的多种方法,并发现,建立就地绿色能源发电厂为数据中心供电可以节约运营成本.然而,以上工作要么没有考虑数据中心未来的负载、电价和 可用绿色能源的变化,要么需要对这些变量进行准确的预测,使其无法在实际应用中发挥预期的作用.Deng等人[24]的研究工作与本文最为接近,该工作解决如何利用多种能源为数据中心供电以达到电费最小化的问题.其中,多种能源包括就地风力发电厂、市电电网以及UPS电池.考虑到负载的波动性和绿色能源的间歇性,通过调度电池充放电以及合理制定不同电力市场电能的购买决策来降低数据中心的电力支出.但是,由于目前数据中心的储能设备成本较高且能效较低,利用储能设备节约电费在现实中仍然不具有可行性.

本文重点解决如何通过负载调度为拥有就地绿色能源发电厂的数据中心节约电力成本的问题.与已有工作相比,本文的研究意义在于:第一,结合对实际数据的分析,本文同样认为绿色能源电价与市电电价之间并不存在确定的大小关系,并在此基础上通过负载调度来节约电费;第二,由于受到目前储能设备成本和技术的限制,本文的调度策略不借助任何储能设备;第三,数据中心所面临的负载、电价和绿色能源都是波动的并且很难准确预测,本文提出了一种可以在不使用任何未来信息的基础上最小化数据中心电费的负载调度算法.

2 系统模型 2.1 风力发电模型

由于初期投入成本相对较低,风力发电设备在全球范围内得到了广泛应用.相关工作表明,可以用实际风速来对风涡轮机的输出功率进行建模[26].风涡轮机的输出功率Pwind与实际风速v的关系如下:

其中,vr,Pr分别表示发电设备的额定风速和输出功率,vin,vout分别表示设备的切入风速和切出风速.切入风速是指风涡轮机开始发电所需的最低风速,一般为3m/s~4m/s;切出风速一般为25m/s左右,当实际风速达到或超过切出风速时,风涡轮机将停止工作,从而避免因风速过高带来的设备损坏.

就地风力发电厂通常会有多个风涡轮机同时利用风能来发电.一般情况下,可以假设具有nwt个风涡轮机的电厂的发电量PWnwt个设备的发电总和.那么,电厂输出的风电功率PW可以表示为

2.2 数据中心电费模型

数据中心可以同时从市电电网和就地绿色能源发电厂获取需要的电力.在自由电力市场中,市电价格是随时间波动的,将时间槽t对应的用电量和电价分别记为Qg(t)和Pg(t),那么数据中心的市电电费支出为Pg(t)Qg(t).每个时间槽的实际长度由以下3个变量的公约数确定:市电电价的变化周期,一般从几分钟到几个小时;数据中心负载的波动频率;就地绿色能源发电厂输出功率的变化周期.值得注意的是,为了简便起见,本文不考虑数据中心用电量对电价的影响.用电量Qg(t)的取值范围如下:

0≤Qg(t)≤Qg,max (1)

其中,Qg,max是数据中心可以从电网获得的最大功率,由数据中心的供电基础设施决定.

虽然为数据中心兴建就地绿色能源发电厂的初期投入成本很大,但是利用风能、太阳能等可再生能源产生的电力仅需要少量的成本.假设绿色能源的电价等于电厂的年度运转支出并且为常数,记为Pr.同时,记时间槽t对应的绿色能源使用量为Qr(t),所以,数据中心的绿色能源电费支出为PrQr(t).此外,由于绿色能源的间歇性,用电量Qr(t)的取值必须满足:

0≤Qr(t)≤Qr,avail(t)≤Qr,max (2)

其中,Qr,avail(t)为就地绿色能源电厂在时间槽t所能输出的最大功率;Qr,max为数据中心可从电厂获得的最大功率,由绿色能源发电厂的设计容量决定.

由公式(1)、公式(2)可以看出,t时间槽内数据中心总的用电量Q(t)满足:

Q(t)=Qg(t)+Qr(t)≤Qg,max+Qr,max (3)

综上,数据中心在时间槽t的电费支出C(t)可以表示为

C(t)=Pg(t)Qg(t)+PrQr(t) (4)

2.3 负载功耗模型

记数据中心在时间槽t完成负载所需要的功率消耗为W(t),通常情况下,数据中心的负载由可延迟负载和不可延迟负载两部分组成,分别用Wd(t)和Wu(t)表示,因此有W(t)=Wd(t)+Wu(t).假设对任意的时间槽t,Wd(t)和Wu(t)都是独立同分布的,如上节所述,记时间槽t内数据中心总的用电量为Q(t),因此,Q(t)-W(t)表示用于处理可延迟负载的功率.如果用D(t)表示时间槽t对应的可延迟负载队列,并且在该时间槽到达数据中心的可延迟负载Wd(t)都被推迟到下一时间槽去执行,那么D(t)的递推公式如下:

D(t+1)=max{D(t)-(Q(t)-Wu(t)),0}+Wd(t) (5)

本文假设数据中心采用先来先服务(FIFO)的顺序处理D(t)对应的可延迟负载.为了保证网络服务的质量,不可延迟负载Wu(t)必须在当前时间槽内完成,因此有以下约束:

Q(t)≥Wu(t) (6)

2.4 平均电费优化模型

数据中心在时间槽t的电费支出如公式(4)所示.为了在保证网络服务质量的前提下最小化数据中心的电

费开销,必须保证队列D(t)的长度是稳定的.如果把T个时间槽长度内可延迟负载的平均队列长度记为,那么满足:

(7)

将市电用电量Qg(t)和绿色能源使用量Qr(t)作为负载调度策略中时间槽t对应的控制变量,约束条件分别为公式(1)、公式(2)、公式(6)和公式(7).那么,该策略在T个时间槽长度内的平均电费为

由以上推导过程,数据中心的电费最小化问题就转化为在约束条件(1)、约束条件(2)、约束条件(6)和约束条件(7)下求平均电费Cav的最小值问题:

(8)

subject to 0≤Qg(t)≤Qg,max (8-a)

0≤Qr(t)≤Qr,avail(t)≤Qr,max (8-b)

Q(t)≥Wu(t) (8-c)

(8-d)

其中,变量Q(t)=Qg(t)+Qr(t),变量D(t)根据公式(5)发生变化.

3 算法设计

由于未来的负载、电价和绿色能源可用性等信息在现实应用中很难准确预测,因此无法直接求解随机优化问题(8).因为可以只使用当前时间槽的变量信息求得在时间轴上平均费用的最小值,Lyapunov优化在最近的研究工作中得到广泛应用[20, 24].为了在不使用相关变量的未来信息的前提下求解问题(8),本文设计了一种基于Lyapunov优化的负载调度算法.该算法只需观察当前时间槽t对应的负载功耗Wd(t),Wu(t)、市电电价Pg(t)、绿色能源电价Pr以及就地绿色能源发电厂的最大输出功率Qr,avail(t),然后通过求解优化问题(9)就可以确定数据中心在每个时间槽分别应该使用的市电用电量Qg(t)和绿色能源使用量Qr(t )以及相应的负载调度策略.

(9)

subject to 0≤Qg(t)≤Qg,max (9-a)

0≤Qr(t)≤Qr,avail(t)≤Qr,max (9-b)

Q(t)=Qg(t)+Qr(t)≥Wu(t) (9-c)

其中,变量V是一个非负的控制参数,大小可以根据实际需求自由选择.在优化问题(9)中,变量V的取值可以在数据中心电费和可延迟负载的平均队列长度之间加以权衡:V越大,数据中心需要支付的电费越小,平均队列长度越大,从而负载性能损失也越大;反之亦然.当V确定时,优化问题(9)就变成了一个有约束的线性规划问题.求解线性规划问题已有很多成熟的算法,本文使用Matlab优化工具箱中的linprog函数来求解该优化问题.

4 实验和结果分析 4.1 实验准备

实验模拟了一个常见的互联网数据中心,该数据中心的基础设施包括供电设备、冷却设备、网络设备等,能够同时处理可延迟负载和不可延迟负载.假设该数据中心拥有一个就地风力发电厂,并且可以同时使用市电和风能供给负载的电力需求[27].数据中心的市电供给来自于电力批发市场,在电力批发市场中,每个小时的电价是不断变化的.由于供电基础设施的限制,假设在任意时间槽,数据中心可以使用市电的最大功率为20MW,绿色能源的最大功率为4MW.为了验证算法的实际效果,实验涉及的电价、风速和负载等变量的取值全部来自真实数据.考虑到以上真实数据的采集粒度,将实验的时间槽长度设定为1小时.

4.1.1 负载功耗数据

实验采用的负载数据来源于谷歌最近公布的一个负载样本数据集[28],这个数据集记录了一个拥有11 000台服务器的集群从2010年6月1日~2010年6月29日这29天内每个小时的详细负载信息.为了获得负载所需的功率消耗,假设负载的功耗与负载的数量成正比,且最大负载数对应的功率消耗等于数据中心可支持的最大市电功率20MW.数据集中的每个负载都拥有一个可以反映其对延迟敏感程度的参数,使用这个参数来区分一个负载是否为可延迟负载,由此得到数据中心所面临的全部负载和可延迟负载的功耗变化曲线,如图 1所示.

Fig. 1 Workload power trace 图 1 负载的功耗信息
4.1.2 电价数据

实验采用的市电电价数据来源于加州山景城地区的历史电价信息[29],这些数据包含了从2010年6月1日~2010年6月29日这29天内电力市场的实时电价,这与所选负载数据的时间跨度保持一致.市电电价的变化曲线如图 2所示.值得注意的是:在某些时刻,电价等于甚至小于0.零电价和负电价都是自由电力市场中的独特现象,是调节电力需求和供给、维持电网稳定性的一种重要手段.由于发电机组的开关机切换成本很高,当市场中电力需求降低时,仍有部分发电机组需要继续运转,导致电力供给大于需求,影响电网的稳定性.由于减少电力供给的成本较高或者技术上很难实现,所以采用零电价和负电价来刺激用户的电力需求,重新平衡市场中的电力需求和供给,在保证电网稳定性的同时,实现发电厂和用户的双赢.

Fig. 2 Utility electricity price and green energy price trace 图 2 市电电价和绿色能源电价

由于数据中心已经拥有一个就地风力发电厂,所以不考虑发电厂的初期投入成本,而使用发电厂的年度运转支出来表示绿色能源的电价.一个典型的风力发电厂的年度运转支出为4$/MWh~30$/MWh之间,平均支出为10$/MWh[7].因此,实验中假设数据中心面临的绿色能源电价为10$/MWh.值得注意的是:绿色能源的电价和市电电价之间并没有确定的大小关系,因此,绿色能源的利用率和数据中心的电费支出之间并没有必然的联系.

4.1.3 绿色能源可用性数据

数据中心拥有一个就地风力发电厂,假设风力发电厂的设计规模为4MW,使用1台SIEMENS SWT-4.0-130风力涡轮机[30]来发电.该型号设备的额定输出功率为4MW,额定风速为12m/s~13m/s,切入风速为3m/s~5m/s,切出风速为25m/s.因此,实验取风力涡轮机的切入风速为3m/s,额定风速为12m/s,切出风速为25m/s.为了模拟风力发电设备的真实功率输出,选择NREL(美国国家可再生能源实验室)位于加州San Clemente Island地区的测量站实地测得的历史风速数据集[31].由于这一地区的测量数据只持续到了2005年,结合负载和电价数据的时间跨度,选择从2005年6月1日~2005年6月29日这29天内的风速数据.根据第2.1节所阐述的风力发电模型,可以得到该就地风力发电厂的输出,如图 3所示.

Fig. 3 Green energy availability trace 图 3 绿色能源可用性信息

虽然本文只涉及到了使用风力发电的场景,但是通过调整就地发电厂的功率输出模型,可以很方便地将算法应用到使用其他绿色能源的数据中心.

4.1.4 3种负载调度算法

实验比较了3种最小化数据中心电费的负载调度算法:Online_WOFK,Offline_WFK和OEBM_WOFK.其中,OEBM_WOFK(online electricity bills minimization without future knowledge)是本文设计的一种基于Lyapunov优化的在线式负载调度算法,该算法只使用当前时间槽的负载、电价和绿色能源信息做出决策,使得数据中心在这29天内的平均电费最小.对于任意时间槽t,OEBM_WOFK算法只需求解一个线性规划问题,因此,该算法在每个时间槽的开销为O(1);Online_WOFK(online without future knowledge)算法则完全不考虑变量未来可能发生的变化,只根据相关变量的当前值求出当前时间槽的最小电费,因此,该算法没有利用任何可延迟负载.对于任意时间槽t,Online_WOFK算法的时间开销同样为O(1);相反地,Offline_WFK(offline with future knowledge)是一种已知未来信息的离线式负载调度算法.在负载到来之前,该算法利用未来负载、电价和绿色能源可用性的准确信息产生负载调度策略,从而最小化数据中心的电费.Offline_WFK算法的时间复杂度为O(T3),其中,T为实验中设置的时间槽的总个数.对以上3种算法进行实验比较,可以体现OEBM_WOFK算法对节约数据中心电费的现实意义.

4.2 实验结果与分析

实验内容包括验证OEBM_WOFK算法的效果、探讨就地绿色能源发电厂的设计规模对数据中心电费支出的影响、分析零电价和负电价对电网的意义.

4.2.1 数据中心电费最小化

本实验从数据中心电力成本和负载性能两个方面验证OEBM_WOFK算法的实际效果,实验中,风速、电价以及负载等相关变量的取值全部来自真实数据集.分别使用3种负载调度算法计算29天内数据中心需要支付的最小电费,结果如图 4所示.

Fig. 4 Electricity bills of three algorithms 图 4 3种算法对应的数据中心电费

· 首先,由于Online_WOFK算法只根据当前时间槽内的电价、负载和风速取值来进行调度而不考虑这些变量的未来信息,所以该算法得到的总电费是3种算法中最大的,为95 705美元;与此相反, Offline_WFK算法在调度之前就已知相关变量在所有时间槽中的取值,因此,使用该离线算法得到的电费总支出是最小的,为57 612美元,比前者节约了39.8%.这说明虽然为数据中心建立就地绿色能源发电厂确实可以减少数据中心的电费支出,但是由于绿色能源的间歇性、负载的波动性以及市电电价的时间差异性,一个理想的负载调度策略必须充分考虑这些因素才能尽可能地减少数据中心的电力成本;

· 其次,由之前的分析可以看出,OEBM_WOFK算法的效果与V的取值有关.数据中心的电费随V的变化曲线如图 4所示:当V很小时,该算法的效果接近于Online_WOFK;而随着V逐渐变大,数据中心的电力成本逐渐减小,并向着Offline_WFK算法的结果逼近.值得注意的是:如图 5所示,由于V的增大同样会使平均延迟队列增大,进而影响负载的性能 ,所以实际中,V的取值并不能无限大,因此,OEBM_ WOFK算法达不到离线算法的最优解.但是即使取V=3,OEBM_WOFK算法需要的电费为63 915美元,相比Online_WOFK算法依旧可以为数据中心节约33.2%以上的电费.

Fig. 5 Average delay queue backlog of three algorithms 图 5 3种算法对应的平均队列长度

图 5描绘了3种算法在执行过程中的平均延迟队列长度.由于Online_WOFK仅考虑当前时间槽而不延迟任何负载的执行,因此其延迟队列长度始终为0.值得注意的是:与另外两种算法不同,OEBM_WOFK算法将时间槽视为可无限延伸的.在实验选择的有限时间长度内,其延迟队列中的负载并不会被全部执行.因此,虽然OEBM_WOFK算法的平均延迟队列长度比Offline_WFK要小,但是并不能说明该算法对负载性能的影响也小.比如,如图 4所示:当V=9时,由于处于延迟队列中的部分负载并没有被执行,使用OEBM_WOFK算法得到的电费仅为57 521美元,比离线算法得到的最优值还要小,但是显然,这一数值是不公平的.因此,由于本实验中时间长度是有限的,所以为了保证负载性能,V的取值不能过大.综合考虑数据中心的电费和负载的平均延迟队列长度两个因素,实验中可以取V=3.

4.2.2 就地绿色能源发电厂的规模与数据中心电费

本实验重点研究就地绿色能源发电厂的设计规模与数据中心电费之间的关系.图 6反映了使用3种算法得到的数据中心电力成本与就地电厂规模之间的变化关系,其中,OEBM_WOFK算法中始终取V=3.

Fig. 6 Electricity bills under different plant scales of three algorithms 图 6 3种算法在不同电厂规模下的电费

图 6可以看出:

· 首先,随着就地电厂规模的扩大,3种算法得到的电费都在减小.当就地电厂的额定功率从4MW增大到20MW时,Online_WOFK算法的电费下降了40.7%.事实上,因为绿色能源在多数情况下比市电便宜,而且数据中心可以利用的绿色能源在变多,所以最终的电费也在减小;

· 其次,就地电厂的规模对电费的影响逐渐减小.当就地电厂的额定功率从12MW增大到20MW时,Offline_ WFK算法和OEBM_WOFK算法得到的电费基本上没有发生变化.这是由于当绿色能源足够多时,3种算法对负载的调度结果都趋于稳定,从而导致数据中心的电费不再明显变化.因此,考虑到绿色能源发电厂通常伴随着巨额的初期投入成本,在为数据中心建立就地电厂时,需要综合考虑当地的电价、绿色能源发电成本以及可能面临的负载来确定经济而合理的电厂规模.

4.2.3 负电价、零电价的现实意义

本实验旨在分析市电电价中的负电价和零电价对调度结果的影响,进而探讨其对电网的实际意义.实验采用Offline_WFK算法进行负载调度,以最小化数据中心的电费.实验选择了4个市电电价小于或等于0的时间槽,其中,第463个时间槽对应的电价为-4.2872$/MWh,其余3个时间槽的电价均为0$/MWh.实验结果如图 7所示,由于4个时间槽内绿色能源的使用量全都为0,所以并未在图中画出.一方面,由于在这些时间槽内使用市电不会增加甚至可以减少数据中心的电费,所以大量可延迟负载被推迟到这些时间槽内执行,导致这些时间槽的市电功率消耗全部达到数据中心可以支持的最大值20MW.由此可见,负电价和零电价的存在确实可以增加电网用户的需求,从而实现需求和电力供给的平衡,维护电网的稳定;另一方面,从图中可以看出:由于这些时间槽的市电电价均小于绿色能源的价格,即使当前的电厂可以产生一定量的绿色能源,数据中心对绿色能源的需求量也均为0.这也说明,由于市电电价和绿色能源发电成本之间没有确定的大小关系,最大化使用绿色能源并不一定意味着可以最小化数据中心的电力成本.当绿色能源电价较高时,就地电厂可以选择将产生的绿色能源存储或者卖出.更加经济的策略超出了本文的讨论范围.

Fig. 7 Impact of minus and zero electricity price on workload scheduling 图 7 负电价和零电价对负载调度的影响
5 结论和下一步工作

本文针对如何最小化拥有就地绿色能源发电厂的数据中心的电费进行了深入研究,主要贡献包括:

· 基于Lyapunov优化提出一种在线式负载调度算法OEBM_WOFK,可以在不使用任何未来的负载、电价和绿色能源可用性信息的基础上最小化数据中心的电费;

· 采用真实数据进行实验分析,并将结果与其他两种算法进行比较.结果表明:与不考虑未来信息的在线式负载调度策略相比,OEBM_WOFK可以节约33.2%以上的电费;随着延迟的增加,OEBM_WOFK的效果趋近于已知未来信息的离线式调度策略;

· 探讨了就地绿色能源发电厂的规模和数据中心电费之间的关系,我们发现:当电厂达到一定规模时,数据中心电费就不再明显下降.因为绿色能源发电厂初期投入成本巨大,所以在为数据中心建立就地电厂时,需要综合考虑数据中心的负载波动性、电价差异性以及绿色能源的间歇性.

本文在节约绿色数据中心电费方面做了一些初步的研究工作.下一步将考虑负载调度给数据中心制冷费用带来的影响,在此基础上进行数据中心电费最小化的负载调度.

参考文献
[1] Google data centers. 2013. http://www.google.com/about/datacenters/
[2] Where in the world are Microsoft’s data centers? 2010.http://www.zdnet.com/blog/microsoft/where-in-the-world-are-microsofts- datacenters/5700
[3] Koomey J. Growth in data center electricity use 2005 to 2010. Oakland: Analytics Press, 2011. http://www.analyticspress.com/ datacenters.html
[4] Qureshi A, Weber R, Balakrishnan H, Guttag J, Maggs B. Cutting the electric bill for internet-scale systems. ACM SIGCOMM Computer Communication Review, 2009,39(4):123-134 .
[5] Gao PX, Curtis AR, Wong B, Keshav S. It’s not easy being green. ACM SIGCOMM Computer Communication Review, 2012, 42(4):211-222 .
[6] Apple and the Environment. 2013. http://www.apple.com/environment/renewable-energy/
[7] Tegen S, Hand M, Maples B, Lantz E, Schwabe P, Smith A. 2010 cost of wind energy review. Technical Report, NREL/TP-5000- 52920, Colorado: NREL, 2012.
[8] Peak and valley electricity price schedule in Beijing (in Chinese). 2012. http://www.bjpc.gov.cn/ywpd/wjgl/cx/jz/201208/t3884351. htm
[9] Multistep residential electricity pricing schedule in Shanghai (in Chinese). 2013. http://www.sh.sgcc.com.cn/FSM_CMS/html/main/ col41/2013-03/21/20130321134924057695122_1.html
[10] Georgiadis L, Neely MJ, Tassiulas L. Resource allocation and cross-layer control in wireless networks. Foundations and Trends in Networking, 2006,1(1):1-144 .
[11] Neely MJ. Stochastic network optimization with application to communication and queueing systems. Synthesis Lectures on Communication Networks, 2010,3(1):1-211 .
[12] Chase JS, Anderson DC, Thakar PN, Vahdat AM, Doyle RP. Managing energy and server resources in hosting centers. ACM SIGOPS Operating Systems Review, 2001,35(5):103-116 .
[13] Chen Y, Das A, Qin W, Sivasubramaniam A, Wang Q, Gautam N. Managing server energy and operational costs in hosting centers. ACM SIGMETRICS Performance Evaluation Review, 2005,33(1):303-314 .
[14] Elnozahy EM, Kistler M, Rajamony R. Energy-Efficient server clusters. In: Falsafi B, ed. Proc. of the Power-Aware Computer Systems. Berlin, Heidelberg: Springer-Verlag, 2003. 179-197 .
[15] Deng W, Liao XF, Jin H. Energy management mechanisms in virtualized data centers. ZTE Technology Journal, 2012,18(4):15-18 (in Chinese with English abstract) .
[16] Tan YM, Zeng GS, Wang W. Policy of energy optimal management for cloud computing platform with stochastic tasks. Ruan Jian Xue Bao/Journal of Software, 2012,23(2):266-278 (in Chinese with English abstract). http://www.jos.org.cn/1000-9825/4143.htm
[17] Rao L, Liu X, Xie L, Liu WY. Minimizing electricity cost: Optimization of distributed internet data centers in a multi-electricity- market environment. In: Proc. of the IEEE INFOCOM. IEEE, 2010. 1-9 .
[18] Wang PJ, Rao L, Liu X, Qi Y. Dynamic power management of distributed Internet data centers in smart grid environment. In: Proc. of the IEEE Global Telecommunications Conf. (GLOBECOM 2011). IEEE, 2011. 1-5 .
[19] Zhang YW, Wang YF, Wang XR. Capping the electricity cost of cloud-scale data centers with impacts on power markets. In: Proc. of the 20th Int’l Symp. on High Performance Distributed Computing. New York: ACM Press, 2011. 271-272 .
[20] Urgaonkar R, Urgaonkar B, Neely MJ, Sivasubramaniam A. Optimal power cost management using stored energy in data centers. In: Proc. of the ACM SIGMETRICS Joint Int’l Conf. on Measurement and Modeling of Computer Systems. New York: ACM Press, 2011. 221-232 .
[21] Liu ZH, Lin MH, Wierman A, Low SH, Andrew LL. Greening geographical load balancing. In: Proc. of the ACM SIGMETRICS Joint Int’l Conf. on Measurement and Modeling of Computer Systems. New York: ACM Press, 2011. 233-244 .
[22] Le K, Bianchini R, Nguyen TD, Bilgir O, Martonosi M. Capping the brown energy consumption of internet services at low cost. In: Proc. of the 2010 Int’l Conf. on Green Computing. IEEE, 2010. 3-14.
[23] Ren CG, Wang D, Urgaonkar B, Sivasubramaniam A. Carbon-Aware energy capacity planning for datacenters. In: Proc. of the 2012 IEEE 20th Int’l Symp. on Modeling, Analysis & Simulation of Computer and Telecommunication Systems (MASCOTS). IEEE, 2012. 391-400 .
[24] Deng W, Liu FM, Jin H, Wu C. SmartDPSS: Cost-Minimizing multi-source power supply for datacenters with arbitrary demand. In: Proc. of the 2013 IEEE 33rd Int’l Conf. on Distributed Computing Systems (ICDCS). IEEE, 2013.420-429 .
[25] Fan X, Weber WD, Barroso LA. Power provisioning for a warehouse-sized computer. ACM SIGARCH Computer Architecture News, 2007,35(2):13-23 .
[26] Zhang YW, Wang YF, Wang XR. GreenWare: Greening cloud-scale data centers to maximize the use of renewable energy. In: Kon F, ed. Proc. of the Middleware 2011. Berlin, Heidelberg: Springer-Verlag, 2011.143-164 .
[27] Li C, Qouneh A, Li T. iSwitch: Coordinating and optimizing renewable energy powered server clusters. In: Proc. of the 2012 39th Annual Int’l Symp. on Computer Architecture (ISCA). IEEE, 2012.512-523 .
[28] googleclusterdata. 2010.https://code.google.com/p/googleclusterdata/
[29] California ISO. 2010. http://www.caiso.com/
[30] SIEMENS wind turbine SWT-4.0-130. 2013. http://www.energy.siemens.com/hq/en/renewable-energy/wind-power/platforms/g4- platform/wind-turbine-swt-4-0-130.htm
[31] San clemente island data. 2010. http://www.nrel.gov/midc/scid/
[8] 北京市电网峰谷分时销售电价表.2012. http://www.bjpc.gov.cn/ywpd/wjgl/cx/jz/201208/t3884351.htm
[9] 上海市居民生活用电试行居民阶梯电价的实施细则.2013. http://www.sh.sgcc.com.cn/FSM_CMS/html/main/col41/2013-03/21/ 20130321134924057695122_1.html
[15] 邓维,廖小飞,金海.基于虚拟机的数据中心能耗管理机制.中兴通讯技术,2012,18(4):15-18 .
[16] 谭一鸣,曾国荪,王伟.随机任务在云计算平台中能耗的优化管理方法.软件学报,2012,23(2):266-278. http://www.jos.org.cn/ 1000-9825/4143.htm