存储“中间件”将带来百亿美元市场

转载: 中关村在线 2019-06-04
阅读量 2388

基于云平台产生的各类负载对计算有着新的要求,这种算力的输出对底层存储同样有着较大考验,需要提升云端的读写能力、存储密度、虚拟化的并发性,以及对实际业务的兼容优化,这就需要在硬件架构与软件平台之间“插入”一层“中间件”,而这或许会孕育出百亿美元的市场。


微信图片_20190604140926.jpg

存储“中间件”将带来百亿美元市场

传统的CPU微处理器架构可以分为三层:L1、L2、L3,而英特尔傲腾数据中心持久性内存(PMEM)中加入了L4L5的功能,更多想要做的是进行一个负载工作比例的分配。比如有的客户觉得这部分的比例只想拿DRAM来做,另外一部分想交给傲腾数据中心持久性内存来做,整体是这样的框架。


同时,还要考虑小一点客户的需求,比如小客户CPU量没有那么大,或者不用跑那么多数据量,所以他们不一定使用傲腾数据中心持久性内存的全部功能,对傲腾数据中心持久性内存本身考虑的不仅是带来的成本上的降低,或者是完全替代DRAM,英特尔要考虑的是如何做L4和L5中间负载比率的分配,同时另外要关注的一个点是在持久上,而不仅仅关注在完全的成本或者百分之百替代DRAM的功效上。


对于腾讯云这样的CSP来说,除了底层的基础硬件,还有平台层、算法层、应用层,而在支持产品端的平台基础层,为了让软件平台有更多的新特性,比如在公有云上会更加的弹性,或者是性能会更好,满足金融这些行业对高性能包括高弹性特性的需求,就需要在硬件平台的优化上下功夫了。而MemVerge所做的,就是内存融合系统,其目的是提升腾讯云数仓平台的性能。


与传统IT架构相比,云计算的优势在于资源弹性可伸缩,客户需要资源实时部署即插即用,但说起来容易做起来难,需要基础设施的优化支持,像MemVerge就用傲腾的快速存储功能在云端应用了Spark。其难点之一在于运行状态,因为一旦放在这些节点上,这些节点就不是那么容易可以拿掉了,因为一旦把节点拿掉,这些状态就会丢失,前面跑的任务都会需要重新开始。有时候任务要跑很长,需要很多个小时,这么多小时的任务整个集群就都浪费了。MemVerge在实验中做的,就是怎么能够把这些状态从计算节点上移开。


进一步解释,云计算资源弹性的基础是计算和存储能够分离,但实际跑起来的时候会发现数据或存储节点本身并没有弹性。腾讯云专家研究员堵俊平就表示,如果在计算阶段去做弹性伸缩,前提是计算节点不会那么“活跃”,比如会减少一些计算节点的数量,不影响正常工作运行。


现实情况却是,无论是Hadoop还是Spark在自建IDC应用时计算节点都不稳定,如果在调度层移除节点,上面的感知就会出问题。这一次,腾讯的数据仓库产品作为平台层,涉及了Spark SQL架构,MemVerge做的“中间件”跑在英特尔的硬件上,就是弥合软硬件之间的缝隙。


从最初的HDD到SSD,最终都发展成为了一个百亿美元的市场,虽然PMEM不会完全取代DRAM,也不会完全取代SSD,但高度依附于x86平台的市场和生态势必会带来一个新的百亿美元机遇。

1.本文整理自网络,如有侵权,请联系删除。

2.所刊内容仅代表作者观点,非闪德资讯立场。

我的评论

登录后评论

最新评论

渠道报价
查看更多

D4/32G-DDR 4

  • 一年
  • 半年
  • 三个月
  • 一个月

微信订阅

APP下载

存储未来,赢得先机

18126200184

Copyright©2008-2025 闪德资讯 版权所有 粤ICP备18080549号-1

粤公网安备 44030402002744号