<strike id="j6ksu"></strike>
<th id="j6ksu"></th>
  1. <th id="j6ksu"></th>

    Hadoop完全分布式开启日志聚合功能

    Hadoop 潘老师 9个月前 (02-25) 883 ℃ (0) 扫码查看

    一、说明

    Container日志是hadoop各个container记录的日志,其中会包含错误或失败的重要信息。如果没有打开日志聚合,默认是分布在各个nodemanager节点上的。如果打开了日志聚合选项,则会统一放在集中的位置(比如HDFS上)。Container日志会记录作业运行时会发生的各种运行时信息和错误,对于调试和调优有很大的帮助。
    Hadoop完全分布式开启日志聚合功能

    二、步骤

    1.修改master的yarn-site.xml配置,新增:

    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
     <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>2592000</value>
    </property>
    <property>
        <name>yarn.log.server.url</name>
        <value>http://192.168.217.100:19888/jobhistory/logs</value>
    </property>
    
    配置参数说明:
    配置名 描述
    yarn.log-aggregation-enable 是否启用日志聚合。 日志收集聚合 每个容器的日志,这些日志移动到文件系统
    yarn.log-aggregation.retain-seconds 日志保存时间
    yarn.log.server.url 为日志聚合服务器URL,可以用于网页访问查看日志信息
    yarn.nodemanager.remote-app-log-dir 日志存放目录(暂时不配。分为非高可用和高可用模式)

    Hadoop完全分布式开启日志聚合功能
    2.将yarn-site.xml远程copy到slave1和slave2

    sudo scp -rq yarn-site.xml slave1:/usr/hadoop/hadoop-3.2.1/etc/hadoop/
    sudo scp -rq yarn-site.xml slave2:/usr/hadoop/hadoop-3.2.1/etc/hadoop/
    

    Hadoop完全分布式开启日志聚合功能
    3.重启hadoop集群
    4.在每个节点新增启动historyserver进程

    sbin/mr-jobhistory-daemon.sh start historyserver
    

    Hadoop完全分布式开启日志聚合功能


    版权声明:本站所有文章,如无特殊说明,均为本站原创。全部下载资源版权归原作者所有。任何个人或组织,若未征得本站同意,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。若需转载请注明文章来源。
    本文链接:Hadoop完全分布式开启日志聚合功能
    喜欢 (1)
    请潘老师喝杯Coffee吧!】
    分享 (0)
    用户头像
    发表我的评论
    取消评论
    表情 贴图 签到 代码

    Hi,您需要填写昵称和邮箱!

    • 昵称【必填】
    • 邮箱【必填】
    • 网址【可选】

    您也可以 微信登录 来发表评论!

    韩国毛茸茸的丰满妇女