hadoop MapReduce HDFS应用场景有哪些

2023-05-16,,

这篇文章将为大家详细讲解有关hadoop MapReduce HDFS应用场景有哪些,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

Hadoop从存储上来说,是类似于冗余磁盘阵列(RAID)的存储方式,将数据分散存储并提供以提供吞吐量,它的存储系统就是HDFS(Hadoop Distuibute Fils System);从计算上来说,它通过MapReduce模型,将大数据的计算分发到多台计算机上完成,再将结果合并,减少计算的时间。

Hadoop适合于:

1、超大数据的计算;

2、一次写入、多次读取的模式;

3、可以跑在普通的硬件上。

Hadoop不适合:

1、低延迟的数据访问,它是为高数据吞吐量应用优化的;

若要处理一些用户要求时间比较短的低延迟应用请求,HDFS不适合。它是为了处理大型数据集分析任务的,主要是为达到高的数据吞吐量而设计的。这就可能要求以高延迟作为代价【以时间来换取空间】。目前补充的方案是:使用HBase,通过上层数据管理项目来尽可能弥补这个不足。

2、大量的小文件

Hadoop客户端需要和namenode进行交互,而namenode中存放的是datanode的文件属性,且都是在内存中,如果小文件过多,namenode是存放不了的;

3、多用户写入,任意修改文件。

Hadoop适合于一次计算,多次读取的场景,如搜索引擎,只支持随机读取不支持随机写入,如Hadoop和Lucene的集成就不能够直接集成,因为Lucene支持随机写入。

关于“hadoop MapReduce HDFS应用场景有哪些”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。

《hadoop MapReduce HDFS应用场景有哪些.doc》

下载本文的Word格式文档,以方便收藏与打印。