Hadoop

Hadoop教程 Hadoop - 简介 Hadoop HDFS HDFS 写文件 HDFS 读文件 HDFS 可靠性 HDFS 命令工具 Hadoop YARN YARN ResourceManager YARN NodeManager YARN ApplicationMaster YARN Container YARN Failover Hadoop MapReduce MapReduce 读取数据 MapReduce Mapper MapReduce Shuffle MapReduce 编程 Hadoop IO Hadoop 测试 Hadoop 安装 Hadoop配置 Hadoop 监控
  1. Hadoop
  2. YARN NodeManager

YARN NodeManager

Node节点下的Container管理

  1. 启动时向ResourceManager注册并定时发&##x9001;心跳消息，等待ResourceManager的指令
  2. 监控Container的运行，维护Container的生命周期，监控Container的资源使用情况
  3. 启动或停止Container，管理任务运行时的依赖包（根据ApplicationMaster的需要，启动Container之前将需要的程序及其依赖包、配置文件等拷贝到本地）

内部结构

  • NodeStatusUpdater: 启动向ResourceManager注册，报告该节点的可用资源情况，通信的端口和后续状态的维护

  • ContainerManager: 接收RPC请求（启动、停止），资源本地化（下载应用需要的资源到本地，根据需要共享这些资源）

    PUBLIC: /filecache</local-dir>

    PRIVATE: /usercache//filecache</local-dir>

    APPLICATION: /usercache//appcache//（在程序完成后会被删除）</app-id></local-dir>

  • ContainersLauncher: 加载或终止Container

  • ContainerMonitor: 监控Container的运行和资源使用情况
  • ContainerExecutor: 和底层操作系统交互，加载要运行的程序

站内导航
HTML5 | CSS3 | JavaScrip | HTML DOM | JSON | PHP7 | XML | XML DOM | XSLT | DTD | XML Schema | 开发手册 | php手册 | 破解软件 | 技术分享 | Blog
联系我们

邮箱 626512443@qq.com
电话 18611320371(微信)
QQ群 235681453

友情链接
百郎科技 | Linux命令大全 | 厦门SEO | 探趣吧 | 北京医院跑腿 | 小熊HTTP代理 | IPFoxy全球代理IP | 天启http

Copyright © 2015-2024

备案号：京ICP备15003423号-3