大数据处理数据为什么会比传统的方式快?

mac2024-10-21  49

大数据为什么快?

文章目录

1.传统时纵向扩展 --> 大数据横向扩展什么是纵向扩展?什么是横向扩展? 2. 资源的分布3.数据的备份和存储4.计算方式

1.传统时纵向扩展 --> 大数据横向扩展

什么是纵向扩展?

服务器配置越来越高 简单点说就是指企业后端大型服务器以增加处理器等运算资源进行升级来获得对应用性能的要求,这当中的代表当属IBM zSeries大型机。

缺点: 1.服务器性能所能提高的程度有一定的上限. 2.成本比较高

什么是横向扩展?

服务器数量越来越多 简单点说就是靠增加处理器来提升运算能力和增加独立服务器来增加运算能力,依靠多部服务器、存储协同运算,借负载平衡及容错等功能来提高运算能力及可靠度

相对于纵向扩展的好处 : 1.成本相对来说更低. 2.性能提高无上限 3.计算能力更快

2. 资源的分布

传统的方式资源的分布特点: (cpu/内存/硬盘)集中 大数据方式资源的分布特点:(cpu/内存/硬盘)分散 (前提:同等配置的前提下) 对比:大数据的资源的分布特点相对于传统资源的分布特点来说处理起来会更易于管理和资源调配

3.数据的备份和存储

传统数据备份方式 : 单份备份,单线存储 大数据数据备份方式 : 多份备份,对数据进行拆分,分布式存储(数据复制,默认三个副本) 对比:大数据更加安全,存储速度更快

4.计算方式

传统方式 : 移动数据到程序端 大数据方式 : 移动程序到数据端,进行分布式计算 对比: 计算数据更快,减少了不必要数据的往返,处理起来更快 大数据 : io 和网络的使用率都非常低,且多节点存储,多节点计算

最后:如果有写的不对的地方欢迎给我留言,谢谢!!!

最新回复(0)