听云重磅发布：2016年第一期云评测报告

　　我们在说起云服务的时候，厂商传递给我们的信息总是非常简单：打消所有的顾虑,我们会帮你处理所有的事情。 但是云服务真的能让你省心吗? 也许可以，但是还有一个更严峻的问题：当你面对众多云服务厂商,不懂套路的你如何选择?牵涉指标太多,专业的云性能指标也不那么易懂，到底哪款适合你?

　　没有关系这都不再是问题，继2015年《中国公有云用户体验报告》后，听云又一重磅报告《2016第一期云评测报告》正式发布。此次报告是听云iDaaS中心利用自主研发的听云Network产品，从模拟真实用户的角度对不同云服务的使用效果进行对比，同时结合听云Server、听云Sys产品进行测试,实现端到端的评测效果, 从首屏时间、总下载时间、首包时间、建连时间、Apdex等几个维度对国内13家云服务提供商进行测试评分，并在业界公开基于用户体验感知的公有云评测。

　　点击链接，下载报告原文：http://bbs.tingyun.com/forum.php?mod=viewthread&tid=138&page=1&extra=#pid400

　　报告中的评测对象?

　　本报告选择了13家在国内具有代表性的云服务供应商，他们分别是AWS、阿里云、腾讯云、百度开放云、青云、UCloud、UnitedStack、华为云、移动云、联通沃云、天翼云。

　　这份报告给谁看?

　　本报告意在为中小企业DevOps对云技术选型时提供技术参考。

　　或许可以帮你

　　在选择云服务时，本报告具有有一定的参考意义;另一方面随着CDN逐渐云化，本报告可以从技术层面指导用户对云服务产品进行选择，为你在评估云厂商性能时提供技术指标。

　　首先，让我们从整体上看一下此次报告中各家云整体情况。

　　1、阿里云、腾讯云、UCloud在技术与服务综合评分下，表现突出

　　据听云iDaaS中心对13家云服务提供商就技术、服务两项进行综合评价：

　　阿里云、腾讯云、UCloud、AWS-China、金山云在技术性能上表现突出

　　阿里云、UCloud、腾讯云、青云、百度开放云、 UnitedStack、华为云在服务易用性上略胜一筹

　　2、4家云服务提供商在性能指标排名靠前

　　阿里云、腾讯云、AWS-China、UCloud在总下载时间、首屏时间、建连时间、首包时间、Apdex值等性能指标方面领先于其他云服务提供商

　　注:技术总得分按照各个指标排名次序计算,最后一名得1分,倒数第二名得2分,依次累加得分。 排名指标参考客户端指标和服务器端Apdex。

　　3、5家云在服务易用性上并驾齐驱

　　青云、百度开放云、阿里云、UnitedStack、UCloud在是否支持网络自助购买、购买方式、是否支持自主开票、账户操作易用性上并驾齐驱，领先于其他云服务提供商

　　注:支持自助购买得5分,不支持得3分; 可自主获取发票得5分,不支持得3分; 账户易用得5分,一般得4分,不易用得2分。

　　上面的介绍大家对各家云都有了一定的了解吧，更多细节请看以下《2016第一期云测评报告》详细内容：

　　4、用户体验关键指标对比

　　通过模拟用户访问网络应用,基于每个模拟用户的访问指标进行测试。结合用户访问部署在 13家云上的同一类型网络应用,进行用户发起 访问的效果对比。

　　评测指标：建连时间、首包时间、首屏时间、总下载时间

　　建连时间：10家云服务在均值以上

　　注：浏览器与Web服务器建立TCP/IP连接的消耗时间,TCP/IP连接三次握手的前两次握手的时间

　　建连时间的长短是网络效果和服务器效应快慢的基础指标。根据各家建连时间平均计算，建连时间均值为0.076秒。在该指标上，除联通沃云、UnitedStack、移动云外，其余10家云服务均处于平均值以上，其中阿里云、金山云、华为云表现最为优异。

　　首包时间：AWS-China、华为云表现最优

　　注：IE浏览器发送HTTP请求结束开始,到收到Web服务器返回的第一个数据包的消耗时间。此指标包含了发送HTTP请 求时最后一个数据包在网络上的传输时间、服务器响应此请求的时间和服务器回应的第一个数据包在网络上面的传输时间。

　　首包时间可以反映网络传输快慢。在首包时间指标上整体均值为0.277秒，AWS-China、华为云表现最优，超过均值0.08秒。移动云、联通沃云、微软云、UnitedStack、天翼云在该项需提高。

　　首屏时间：多家运营商云未超过平均标准

　　注：首屏时间是基调网络首创的评测网站用户体验的一个重要指标。它是指一个网站被浏览器如IE窗口上部1024*768的区域 被充满所需时间,反映了用户在打开网站第一时间的感觉性能。

　　首屏时间是评测网站用户体验的重要指标，此项以平均值1.96秒衡量，腾讯云表现最为优异，而移动云、华为云、联通沃云、天翼云表现未超过平均标准。

　　总下载时间：各家云表现整体差异不大

　　注：总下载时间是监测一个页面总的消耗时间,即从开始监测到监测结束的时间。

　　在总下载时间指标上，整体差异不大，13家云均值为12.188秒。腾讯云拔得头筹，华为云、联通沃云、移动云、天翼云、UnitedStack在该项指标上需再提高。

　　5、后台关键指标对比

　　通过听云Network模拟用户对同一应用在13个不同云环境的访问,可以直观的看到用户的访问效果。同时在应用后台方面基于听云Server 和听云Sys两个后台诊断产品,同样可以看出同一应用后台程序在不同云环境下的差异。

　　后台关键指标：应用服务器响应时间、应用CPU使用率、数据库调用时间、Apdex、服务器CPU使用率、服务器Stolen-CPU、服务器内存占用、服务器磁盘IO、服务器网络IO

　　应用服务器响应时间：各家差异大

　　注：应用服务器响应时间：应用服务器从收到请求到返回响应的时间

　　在应用服务器响应时间指标中，各家云相差较大，就平均值351.95毫秒而言，将近一半的云服务提供商均未达到平均值。其中，移动云、联通沃云高出平均值超过30%;而AWS-China、腾讯云、阿里云低于平均值40%。

　　同时，各家云测试周期内的波动情况差异较大。其中，联通沃云、移动云、天翼云波动较大，其他家相对平稳。

　　应用CPU使用率：整体使用率较低，但不同公有云服务提供商差别明显

　　注：应用占用 CPU的波动情况。

　　应用CPU使用率是指CPU资源的占用情况。在该项指标上，13家云表现出两级分化的状态，以平均值0.39%为限，AWS-China、腾讯云、阿里云、华为云、百度开放云、UCloud、金山云表现优异。本次测试属于轻量级应用测试，虽然13家公有云表现整体使用率较低，但不同公有云服务提供商差别明显，以此推断如果进行重量级别测试，那么不同公有云表现差别会更加显著，有可能对应用产生比较大的影响。

　　数据库调用时间：各家表现差异极大

　　注：数据库调用时间是指网页访问时后台数据调用的时间。

　　数据库调用时间可以反映出各家公有云对于数据库的匹配情况。在数据库调用时间走势上，联通沃云与最低值相差162倍，呈现出明显高于其他云服务商的现象。以平均值0.82毫秒计算，联通沃云、 微软云、移动云均低于数据库调用时间整体水平。

　　Apdex分值：除个别外，整体用户体验良好

　　注：Apdex值是指根据对应用设定的T值计算得出的应用响应分数。Apdex指数 =(1 ×满意数量+ 0.5 ×可容忍数量)/ 总样本数,0代表没 有满意用户,1则代表所有用户都满意。 此处T设置为500ms。

　　根据规则，分值越接近1，则代表所有用户都满意，在该项指标上只有移动云、联通沃云低于平均值0.9669，其余云服务均达到平均值以上。其中，AWS-China、阿里云、腾讯云、UnitedStack、UCloud居于用户满意前5位。

　　服务器CPU使用率：主要由用户CPU利用率、系统CPU利用率、IO Wait组成，各指标下各家云优势不同

　　?在用户CPU利用率指标下，各家云呈现出明显分层。

　　?在系统CPU利用率指标下，青云与腾讯云相对其他家占用率较高。

　　?在IO Wait指标下，微软云较其他家占用率较明显且波动较大。

　　服务器Stolen-CPU比例：联通沃云Stolen-CPU情况明显

　　注：服务器Stolen-CPU比例一般认为是存在CPU泄漏的情况。

　　对于此指标，在测试期间内联通沃云每日均出现CPU泄漏情况，而其他家云均不存在此问题。

　　服务器内存占用：出现两家独小的情况

　　注：服务器内存占用是指对内存硬件的消耗情况。

　　该项指标下，除了UnitedStack、联通沃云在 2000MB内，其他11家云服务均处于2500MB-4000MB之间。

　　服务器IO Wait比例:微软云、金山云波动明显，其他家相对稳定

　　注：服务器磁盘IO是指磁盘的读写速度

　　服务器网络IO:发送速率上各家基本一致，接收速率上差别明显

　　注：是指网络发送速率及网络接收速率。

　　?接收速率：UnitedStack波动明显，高于其他家接收速率，说明与其他家相比存在异常。

　　?发送速率：各家表现一致。

　　建议

　　1、不同云厂商在各个指标上均呈现出不同的优势，因此不同的用户需要根据自身特点进行选择。

　　2、本次测试的样本访问数量是6480UV，本次测试主要体现了一般中小企业在购买云服务的基本情况，更高端的企业用户仅供参考。

　　3、通过测试后我们对云厂商进行了详细的调研，我们了解到如下情况：华为云正处于产品新旧版本更新期，UCloud针对这种中小企业规模的云服务还有很多不同场景的服务策略，AWS自身更是有很多针对用户购买云服务后的性能优化策略，而对于本次测试中新增的运营商云，其主要延续国企的办事体制，易用性和商用化程度都需提高，另外云对于运营商来说现阶段并不是业务重点，在运营商中电信的天翼云走的相对靠前，已经慢慢和移动云和联通沃云拉开距离。