MapReduce程序运行模式

mapreduce的运行模式

• 概念：所谓的运行模式指的是由谁给mr程序提供运算时候所需要的硬件资源
• 两种模式：
  
  • 集群模式：程序计算的资源由yarn分配 分布式计算的效果 生产环境线上环境的模型
  • 本地模式：程序计算的资源由程序所在的机器本地系统模拟出 单机计算的效果 开发测试环境
  • 决定什么模式运行
    

  • mapreduce.framework.name = local 本地模式 mapreduce.framework.name = yarn 集群模式
     

     

     

    2

    2

     

     

     

     

     

    1

    mapreduce.framework.name  = local  本地模式

    2

    mapreduce.framework.name  = yarn   集群模式

     

     
    
    
    

    如果不配置 默认是local模式 但是要注意该集群的环境中是否配置了hadoop 如果有覆盖默认的
    识别出mared-site.xml中配置

  • 注意事项
    

    要想本地运行mr程序 需要解决hadoop native library问题 winutils.exe 程序