Hadoop-01 初识Hadoop
初识Hadoop
Hadoop可运行于一般的商用服务器上，具有高容错、高可靠性、高扩展性等特点特别适合写一次，读多次的场景。
适合
- 大规模数据
- 流式数据（写一次，读多次）
- 商用硬件（一般硬件）
不适合
- 低延时的数据访问
- 大量的小文件
- 频繁修改文件（基本就是写1次）
Hadoop架构
- 分布式文件系统hdfs
- 分布式资源调度yarn
- 分布式计算框架MapReduce
- Others: 利用YARN的资源管理功能实现其他的数据处理方式
hadoop包含的模块：
- hadoop common – 公共模块
- hadoop distributed file system（hdfs）–提供数据存储
- Hadoop yarn – 作业调度，资源管理
- hadoop MapReduce --yarn之上并行处理框架
本博客所有文章除特别声明外，均采用 CC BY-SA 4.0 协议 ，转载请注明出处！