四方行动 | 大数据龙门阵第三期——混合云的优势
主办单位：
重庆市信息产业投资促进中心
重庆市云计算和大数据产业协会
重庆市工业云推进联盟
中关村（重庆）大数据产业联盟
分享时间：2016年7月5日晚20:30-21:30
相关数据显示：到2018年，超过四分之三的负载将在云数据中心处理，22%的负载在传统的数据中心处理。云流量的增长为混合云技术的持续发展提供了契机，因为他正开始引领其他云平台向前发展的方式。未来，分析将是混合云的一个巨大增长机会，因为在分析中使用的数据量大，非常适合于云计算，其具有规模大、高弹性的优势。对于某些形式的分析，如高度敏感的数据，那么私有云仍然会占主导地位。但私有云是混合云的一部分，所以无论是哪种方式，混合云都有优势。
但是大家可以发现数据量级到PB级以后，公有云所提供的性能都是有限的。现有的国内云的厂商还不能完全提供像本地Hadoop一样好的服务。比如我们日活过千万，这些数据实时上传到云端，一部分做实时计算，另一部分做批量计算，往往要面对这些大量的请求。所以目前国内各公有云环境里面，在做大数据的高性能、高并发、高IO计算的时候，混合云是唯一比较好的架构。
一方面用了底下大数据平台，另一方面跟公有云打通，享受公有云的免维护和弹性，并且使用相关的产品。所以在公有云做好了，用混合云的架构处理我们大数据。
现在有些大数据企业的混合云，云端用公有云，采用光纤直接连接的方式直通到企业的大数据集群，既享受了云端混合的优势，可以按需增加服务器，也能享受到下面大数据平台高性能的计算，通过这个方式来实现整个业务和结构框架。
一般来讲云计算服务会要求您在私有数据中心与公共云之间做选择，但我们可以提供搭建混合云解决方案，扩大您在 IT方面的可选择性；我们通过自有光纤资源，为您提供与公有云的快速、安全的直连服务，在您现有数据中心安全地增加计算和存储的同时，享有公有云的可伸缩性和经济性。更可以轻松地构建跨本地和云的应用程序。
过去，用户需要通过在传统的公网架设VPN（Virtual Private Network，虚拟专用网络），来保障数据传输的安全性，但是，这种方式无法完全保证带宽、低延迟、时效性。而我们提供的混合云直连业务可以实现低带宽的成本，更稳定的网络性能，更可靠的网络效果，并且可以兼容其他的云计算服务帮助用户实现混合云的架构，最主要解决了出口带宽的成本支出和网络加速。
根据实际验证后，我们总结出以下优势：
1. 低延时（网络延时达到3毫秒）、高带宽，无需要绕行公网；
2. 优质基础设施实现，保障网络间通信稳定可靠；
3. 数据在自建设施中传输安全，不经公网，免去传输过程中被窃取的风险；
4. 提供的灵活网络拓扑能力都，简单的操作，取代物理世界中复杂的网络配置；
5. 对接至系统中，每根光纤都可以直连华为、阿里、金山、UCLOUD等公有云的云计算中心，系统构建极度灵活；
6. 与云端的连接通过光纤实现，大大节约您到云端的公网带宽成本、
打个比方，IDC出口带宽，公有云的带宽，这两块支出原来很大，但是用了直连光纤，带宽成本节约了1/3。
在不同的行业里，对于混合云直连所达到的效果基本相同：
1. 大数据计算——混合云直连在保证网络安全性的同时，使数据采集、传输、运算及发布达到最快
2. 互动业务——毫秒级的网络延时，使得互动业务得以最优化实施。
在使用光纤直连混合云的情况下，对原有架构不会产生很大影响。
下面我们来分析一下易观智库的易观智库多云混合直连部署案例吧。
刚开始易观选择用三家不同的公有云，通过一些MQ组件去接受数据，通过Hadoop去处理数据。这样做主要是为了保证既要有数据出来，又要集群扩展性好。
公有云优势是可以快速部署，快速实现。很短的时间就可以把集群搭起来，没有采购的成本，不需要做很多攻击防护的事情，硬件本身也是免维护的。但当数据量非常大时，它的缺陷就暴露了：
（1）数据量大，执行效率低
不管使用哪家公有云，易观都遇到了数据量非常大，执行效率低的瓶颈，特别是月活超过1亿后更加明显。每次这个时候查询再加优化，就要30分钟左右，这个时间是不能忍受的。
（2）公有云单位成本高
公有云单价成本高，好机器年度投入超过三万块。
（3）IO瓶颈明显
这种是高密度，高CPU型IO的计算，无论换哪一家公有云，IO瓶颈还是很明显的，和线下集群对比是几倍的关系。
（4）不确定性强
公有云是大家共享一个计算池子，所以使用的时候会出现CPU抢占的情况。因为是高密集计算，这样抢占对CPU切分不是很好，有的跑十来分钟有的跑一个小时，这样对大数据应用来讲存在不可确定性。
（5）公有云防护策略少
易观是在做大数据Hadoop的东西，它的网络的千兆的交换，再加上虚拟机，像网口方面会形成瓶颈。因为易观的数据是源源不断到云端的，它的防护策略也比较少，这么大量的数据实时传到云端，很多时候公有云会当做攻击给清掉。
解决方案，兼具性能与灵活性的混合云。
当我们数据越来越多，怎么让集群更有效呢？易观运用了混合云的策略。
这是他们的混合云拓扑图，网络延时达到3毫秒。目前延时在做优化，近期会达到1毫秒，经过混合云直连后，易观实现了以下效果：
（1）混合云让集群更有效
最简单来讲，易观所有数据分析服务是在公有云上面在给大家提供的，底下所有的集群则从云端迁到了线下。如果一个公司想在基础的云服务之上再加一些软件提供，单一的软件是不能满足企业需要的。一个集群一定是多空间、多组件混合在一起，才能满足业务需求。
（2）公有云、私有云打通
把原来公有云和私有云，包括底层使用打通。当时用到了云的计算，像加密各种方法，然后采用物理光纤，光纤先到公有云的机房，然后把集群跟光纤做互通，达到目前混合云的效果。
目前我们后端光纤已与华为云、阿里云、金山云、Ucloud等云计算中心实现直连，前端通过WIFI实现对终端的连接，目前已覆盖北京商圈，包括40多家大型商场、商业连锁、三大高铁车站、部分写字楼等场所。目前公司为大数据企业及相关有混合云需求的企业提供公有云与私有云、公有云与公有云之间的光纤直连服务。
目前正在与AWS和Azure进行对接中
对混合云直连需求较多的一般都是大数据公司，DMP、DSP的广告公司，还有金融、证券、保险等行业，基本都具有数据量处理较大、高并发，对网络延时要求较高，并且具有实时计算发布业务的企业。我们希望能帮助各行业升级混合云架构里的通信部分。
