刘鹏教授绿色云计算实践之路

发布时间：2020-07-21 18:24:18 阅读：次来源：文件夹厂家

接下来演讲的是知名的专家，解放军理工大学教授刘鹏教授，他演讲的题目是“绿色云计算实践之路”。

刘鹏：非常高兴在这里跟大家分享一下我们云计算这方面做过的一些事情。目前，数据增长有一个新的规定，人称叫新摩尔定律，全球数据量每隔18个月就会翻一倍，指数据总量，所以比我们脑的摩尔定律大很多。大数据带来的挑战就是过去的这么多年来，数据增长现在是到了2000EB左右，这个量是在04年的时候只有30EB，所以这个增长非常快，现在每两天产生的数据，就相当于03年以前全球所有数据的总和。所以，我们看到为什么现在有这么多数据中心在建设，其实也于这个也关系。现在企业能够利率的数据大概7%，将来很快会降到4%。如果我们把数据的利用率提升，如果我们能提升10%，那么在很多行业，它的效率将会提升20%。所以，这个影响是非常大的。我们现在看到淘宝网提供了一些数据分析的服务，比如数据模仿，这些数据分析有助于那些有经验的卖家根据这个服务购买这个数据，然后优化它的商品销售。我们现在看到很多皇冠卖家都是以前好日积月累累出来的，但是现在一大批的数据卖家是靠数据分析，这样就能够提高它的销售量。亚马逊在它的销书的过程中，每次你结帐的时候会给你推荐会不会买另外一本书，这个销售量增长了很大。

云计算增长这么快的情况下，我们用什么去解决，用大量的计算机取代以前单打独斗的计算机。到了1998年有了网格计算，08年有了服务计算，07年有了云计算，这些都是它的本质的问题。云计算在基础上来讲，实际上就是怎么能够把这些分布的资源管起来，这些资源非常不可靠，怎么把它有效的虚拟起来，然后对外界提供简单的接口，方便大家从网上进行访问，云计算的核心就是冗错。谷歌就是找到了这样一个做法，4月1号，谷歌给大家提供了1GB的G-mail的信箱，谷歌03年的时候当时发了一篇论文，这篇文章可以说是整个云计算产业的奠基之作，非常简单，它描述的结构就是这台机器有很多是管理的机器，下面是负责数据存储的机器，右边的是客户端。为什么要两台，因为两台机器要互有备份。所以，这样使得它始终都能保持数据有三个副本，所以这套机器就可以做的非常可靠。所以，谷歌的机房都能做得这么简单，普通的PC装4个硬盘，背后对着走廊，因为这些机器随时都会坏了，坏了以后没有人管，如果坏了，就方便拿下来，所以就完全不需要人维护。所以，这样带来的好处就非常明显。目前微软公司建了一个15万机器的云计算平台，只有5个人在做，所以它的效率非常高。

谷歌的数据中心建在戈壁滩上面，非常冷的这些地方。现在Facebook也公开了他的云计算数据中心，在一个非常荒凉的地方，它的PUE竟然能做到1.06。谷歌曾经写了GFF这样的文章公开了它最核心的技术，造成了全世界云计算的热潮，所以，你们可以学习我们的方法，所以我们建设绿色数据中心很多东西可以借鉴Facebook的数据中心的建设方法。

在能源上面有很多问题，左边是谷歌带美国的东海岸收购了一个公司，云计算属于高耗能产业，10万台机器，一块钱一度电，10万台PUE等于2的话是5亿人民币，所以能源的消耗比数据中心本身的建设成本，如果三年之上，就超过了数据中心建设成本，所以能源问题是一个为突出的问题，目前数据中心的能耗已经超过航空产业，整个天上这么多飞机在飞，但是它的能耗还不如数据中心消耗的多，现在大概2%点几的能源被云计算数据中心使用，我相信再过几年会超过10%，甚至20%的数据中心将使云计算使用这么多能源。

谷歌在比利时建的云计算数据中心完全放在室内，因为这个地方比较冷，但是仍然一年有7天比较热，谷歌在这7天里面把数据中心完全关掉，不再使用，这个时候就不需要再额外的散热了，到了7天之后再打开继续工作，用这种方法避开散热。那么，这种方式我觉得对很多企业其实是适用的，在国内360在前年的夏天曾经它的数据中心机房主空调出现故障，这时候360受到报警马上就启动了指令关掉了这个机房。我们这一块做的这些事情，比如说我们主要着重针对云计算大数据的基础做了四个方面的工作。

一方面是云存储，第二方面是大数据怎么处理。第三、视频方面的应用。第四、大数据怎么高速的传到另外一个地方。谷歌是不允许修改数据，我们任意可以修改，而且我们可以把不同的异地机架虚拟成更大的存储平台，能量可以做到100完EB。我们今年和国家科技部启动了一个计划，1EB的存储系统。另外就是存储的控制器我们自己研制了一种新的存储控制器，这个控制器的功耗只有10瓦可以控制16个硬盘，我们采用传统X86架构需要250万我的电，但是我们现在把它只降大10万，它达到的效果是类似的，成本节省了10倍。这样使得云存储能源消耗更少，这是我们的机架，既可以是X86，也可以是超低功耗。我们在内蒙布了一套系统已经三年多了，好多硬件都坏了，但是系统仍然是好的。同时，我们可以做所有的节点，随着节点的数量增长，用户的访问量上升，我能够让它的整体IO性能呈线性增长，我在以太网里面读数据的时候，速度是非常惊人的。我们云存储系统是前所未有的一个性能。这是我们做的新的机架，它的正面全部是盘，反面上下都是盘，中间是电路板，是1.125PB的流量，所有的功耗3400瓦，所以我们一个机架放到机房里就相当于一房建了所有的机器，但是它的成本只相当于原来一个机架的成本，所以这套系统我们觉得对于数据中心建设可能会非常有用，如果你用海量的数据，比如大家现在都在云盘大战，云盘的成本居高不下，我们曾经有运营商找我们，说我租用你的设施，我们愿意付多少租金，后来我算的一下，我说你只要付我半年租金设备就送你了，我们比市场上云盘的价格便宜很多，我们这套系统是高可靠，高性能，高可伸缩性，超低功耗，超高集成度，高易用性，价格非常便宜。便宜到什么程度?在招标的时候我们云存储系统只有320万，别的厂商都是900多万。另外我们系统在南京公安局得到了大量的应用。他们主要是把各城市里的摄象头的硬盘，所有的监控硬盘把数据导到云存储上面，交给几千个警察同时做分析。这样大家就发现，用这样的系统它的特点系什么?几千个人同时用一套系统，但是每个人都觉得很快。第二，在用的过程中老跳闸，大家担心云存储会不会把数据丢掉，但是打开机器发现数据都没有丢失，大家从哪儿以后就建立了信心。所以，现在南京公安局现在大规模采购基本上全都是这种系统，现在在南京政务数据部署的公安局宣布是这个系统。

云处理我们有一个系统叫数据立方，我们Hbase的30倍。另外就是可靠性有大幅的提升，我们还HDFS进行了大量的改造，把它所有的单点故障给消除掉了。数据立方能够快速的处理机器海量的数据，JOBKEEPER能够对大量的计算任务进行大量的调度，我们这个处理平台就是当你有大量的计算任务，每个任务都很小，怎么能够快速的高可靠的把它处理完。这个是中国移动在广东移动搞了一个比赛，它的数据量整个广东是中国移动收入量最大的，心灵流峰值是7200KB/S。这是参赛的其他厂商，有几家是用美国最有名的一个大数据处理的平台，但是它非常贵，一套系统有上千万，我们跟它这样的系统竞争，最后的效果是非常好的，这是我们整个通过这个比赛证明了这个系统。这个比赛比了一年，比功能、性能、可靠性，全方位的是，最后是非常惊人的结果。这是我们当时比赛的现场。这个比赛当时也是把每一家到屏幕上，同时进行相同的处理，或者看谁不崩溃，我们在这里面最后得到大家的认可了。我们后来中标了很多中国移动的工程，中国移动现在的试点，首先第一个就是江苏移动，布了12个机架，处理整个江苏省所有的移动手机信令，每秒钟的流量200兆，效果非常好。

我们现在云计算模式要把所有的数据都到云计算平台，甚至全国的实时数据都可以处理掉，这是我们当时数据入库的样子，这是我们数据查询。当我们要在这么大数据量的情况下查询符合条件的车的记录，我们一点查询按纽就出结果，以前的系统要用很长时间。现在我们做到一个省的或者一个国家的规模，或者我们有一千亿条，或者一万一条记录，我们能够做到实时的查询，然后动态的筛选。比如给出查询条件，一点查询就出结果了，这是以前做不到的。有了这个能力，现在有了很多以前做不了的事情。比如有一辆车，一过这个卡口，就把它的牌照和其他的车比对一下，如果相同它就是套牌车。以前都是靠眼睛查，那是非常困难的。我们同时也把这个作为数据的一体机，就是硬件和软件结合在一起。英特尔公司目前跟我们合作推出新的一体机，大概10月底开新闻发布会，英特尔公司会着重把这个产品推出去，除了英特尔之外，其他国内所有的大厂都在跟我们合作。

云视频，我们主要业绩大规模的，你怎么能保证这么多摄象头都到你的平台上，怎么高效的把数据存起来，自动的处理，主要是解决这个问题。我们在一个监控画面，就可以监控一个城市的几十万摄象头，但是人其实看不过来，所以我们要用大量的计算机同时处理不同的视频流。另外除了做交通，道路流量的判断，发生事故的自动报警，比如有人打架，有人抢劫，所有的行为通过云计算的节点进行自动的判断、处理和报警，这样把大量传统的摄象头接入到云计算平台进行处理。同时我们也做对犯罪嫌疑人的动态跟踪，像周克华的案子，用云计算平台做动态的处理，但是云计算平台我们摄象头都很模糊，看不清楚他的脸，那么，在这种情况下我们发明了这种新的技术解决这个问题。

云传输主要是快速的把数据高效的传输到不同地方，这个传输速度也大幅提升。这是我们在国家做的实验，能够提高几十倍的性能，这是目前全国有6个省的电视台用这种方法进行高效的数据传输，到今年您地16个省。我们有一个网站叫中国云计算，欢迎大家访问。我们也有几本书，大家可能看得比较多的云计算第二版现在是最多的一本。谢谢!

来源:IDCUN 作者:IDCUN