首页 > 其他 > 详细

大数据计数原理与应用——笔记——Hadoop

时间:2018-09-09 21:27:43      阅读:234      评论:0      收藏:0      [点我收藏+]

Hadoop简介

  Hadoop是Apache软件基金会旗下的一个开源分布式计算平台,为用户提供了系统底层细节透明的分布式基础架构。

  Hadoop是基于Java语言开发的,具有很好的跨平台特性,并且可以部署在链家的计算机集群总。

  Hadoop的核心是分布式文件系统HDFS(Hadoop Distributed File System)和MapReduce。

  Hadoop被公认为行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力。

  几乎所有主流厂商都围绕Hadoop提供开发工具、开源软件、商业化工具和技术服务。

Hadoop的特性

  • 高可靠性
  • 高效性
  • 高拓展性
  • 高容错性
  • 成本低
  • 运行在Linux平台上
  • 支持多种编程语言

Hadoop在企业中的应用架构(推荐企业使用cloudera和星环开发的Hadoop版本,个人使用Apache版本)

  数据源——大数据层(离线分析、实时查询、BI分析)——访问层(数据分析、数据实时查询、数据挖掘)

Hadoop项目结构

  • HDFS  分布式存储系统  (1)
  • YARN  分布式计算框架  (2)
  • Tez  DAG计算   (3)
  • Spark  内存计算   (3)
  • MapReduce  离线计算   (3)
  • Hive  数据仓库   (4)
  • Oozie  作业流调度系统  (5)
  • Ambari  安装部署工具  (6)
    技术分享图片
    技术分享图片
    技术分享图片

Hadoop安装之前的预备知识

  Linux版本:CentOS或者Ubuntu

  安装方式:虚拟机安装(内存4G以上)、双系统安装(内存4G以下)

       单机模式(本地模式,无需进行其他配置即可运行,单Java进程)    伪分布式模式       分布式模式(多个节点构成集群环境) 

  安装工具:VirtualBox虚拟机软件、Ubuntu LTS 14.04 ISO映像文件 

技术分享图片

Hadoop安装教程_单机/伪分布式配置  http://dblab.xmu.edu.cn/blog/install-hadoop/  

 

一个基本的Hadoop集群中的节点有:

  NameNode :负责协调集群中的数据存储

  DataNode :存储被炒粉的数据块

  JobTracker :协调数据计算任务

  TaskTracker :负责执行由JobTracker指派的任务

  SecondaryNameNode :帮助NameNode手机文件系统运行的状态信息(冷备份)

  

 

大数据计数原理与应用——笔记——Hadoop

原文:https://www.cnblogs.com/rix-yb/p/9615054.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!