Flink的日志配置

介绍flink在本地运行和on yarn运行时的日志配置。

很多现代框架都是用门面模式进行日志输出，例如使用Slf4j中的接口输出日志，具体实现类需要由log4j，log4j2，logback等日志框架进行实现。

Flink 中的日志记录就是使用slf4j日志接口实现的。

Slf4j简要说明

slf4j全名Simple Logging Facade for Java，为java提供的简单日志Facade。Facade门面说白了就是接口。它允许用户以自己的喜好，在工程中通过slf4j接入不同的日志系统。slf4j入口就是众多接口的集合，它不负责具体的日志实现，只在编译时负责寻找合适的日志系统进行绑定。具体有哪些接口，全部都定义在slf4j-api中。查看slf4j-api源码就可以发现，里面除了public final class LoggerFactory类之外，都是接口定义。因此slf4j-api本质就是一个接口定义。要想使用slf4j日志门面，需要引入以下依赖：

 <dependency>
    <groupId>org.slf4j</groupId>
    <artifactId>slf4j-api</artifactId>
    <version>1.7.25</version>
</dependency>

这个包只有日志的接口，并没有实现，所以如果要使用就得再给它提供一个实现了些接口的日志框架包，比如：log4j，log4j2，logback等日志框架包，但是这些日志实现又不能通过接口直接调用，实现上他们根本就和slf4j-api不一致，因此slf4j和日志框架之间又增加了一层桥接器来转换各日志实现包的使用，比如slf4j-log4j12，log4j-slf4j-impl等。


接下来从本地运行和on yarn部署来说明下日志的使用配置方式。

Flink本地idea运行的日志配置

在我们编写Flink代码的时候，官方推荐的最佳实践也是使用Slf4j。Slf4j 的 logger 通过调用 LoggerFactory 的getLogger()方法创建，然后使用logger对象输出日志。

接下来，我们就使用slf4j来打印日志。

使用slf4j

依赖

 <dependency>
    <groupId>org.slf4j</groupId>
    <artifactId>slf4j-api</artifactId>
    <version>1.7.25</version>
</dependency>

实现代码

package com.upupfeng;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

/**
 * @author mawf
 */
public class Main {
    
    // 创建Logger对象
    private static final Logger log = LoggerFactory.getLogger(Main.class);

    public static void main(String[] args) throws Exception {
        // 打印日志
        log.info("-----------------> start");
    }

}

光有上述的代码，运行起来是打印不出来日志的。还需要我们导入对应的日志实现的依赖（log4j或log4j2），以及进行相关的配置。


接下里再分别说一下log4j和log4j2的依赖和配置。

log4j1

pom依赖

        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-api</artifactId>
            <version>1.7.25</version>
        </dependency>

        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.21</version>
            <scope>test</scope>
        </dependency>

        <!-- https://mvnrepository.com/artifact/log4j/log4j -->
        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
        </dependency>

log4j.properties配置

log4j.rootLogger=info,console  

log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.Threshold=INFO
log4j.appender.console.ImmediateFlush=true
log4j.appender.console.Target=System.out
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=[%-5p] %d(%r) --> [%t] %l: %m %x %n

添加完pom和配置后，就可以使用log4j输出日志了。

log4j2

pom依赖

        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-api</artifactId>
            <version>1.7.25</version>
        </dependency>

        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-slf4j-impl</artifactId>
            <version>2.9.1</version>
        </dependency>

        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-api</artifactId>
            <version>2.9.1</version>
        </dependency>

        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.9.1</version>
        </dependency>

log4j2.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration monitorInterval="5">
    <Properties>
        <property name="LOG_PATTERN" value="%date{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n" />
        <property name="LOG_LEVEL" value="INFO" />
    </Properties>

    <appenders>
        <console name="Console" target="SYSTEM_OUT">
            <PatternLayout pattern="${LOG_PATTERN}"/>
            <ThresholdFilter level="${LOG_LEVEL}" onMatch="ACCEPT" onMismatch="DENY"/>
        </console>
    </appenders>

    <loggers>
        <root level="${LOG_LEVEL}">
            <appender-ref ref="Console"/>
        </root>
    </loggers>

</configuration>

添加完pom和配置后，就可以使用log4j2输出日志了。

在实际使用中，还是推荐使用log4j2。其他的不说，占位符就比log4j的自己拼字符串好很多了。

Flink on Yarn的日志配置

说明

Flink有多种部署运行方式，我这里采用的是on yarn的运行方式，以per-job的形式提交任务到yarn。

# 以这种方式提交
flink run \
-d \
-m yarn-cluster \

我使用的flink版本是1.11.3。

官方的二进制运行包中就自带了slf4j和log4j2的jar包：

flink-dist_2.11-1.11.3.jar 
log4j-1.2-api-2.12.1.jar  
log4j-api-2.12.1.jar
log4j-core-2.12.1.jar
log4j-slf4j-impl-2.12.1.jar

flink-dist包中包含了slf4j的包，带log4j的是log4j2的包。

如果我们要使用log4j2的话，就必须保证我们自己打的jar包中没有log的相关依赖，不然会出现各种奇怪的问题。这点很重要，我最开始没有排除，遇到了很多问题。

maven打包时排除log依赖

我这里是使用shade插件打包，然后排除依赖的。

shade插件的配置如下：

<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-shade-plugin</artifactId>
    <version>3.1.0</version>
    <configuration>
        <artifactSet>
            <excludes>
                <exclude>org.slf4j:*</exclude>
                <exclude>log4j:*</exclude>
                <exclude>ch.qos.logback:*</exclude>
            </excludes>
        </artifactSet>
    </configuration>
    <executions>
        <execution>
            <phase>package</phase>
            <goals>
                <goal>shade</goal>
            </goals>
            <configuration>
                <filters>
                    <filter>
                        <artifact>*:*</artifact>
                        <excludes>
                            <exclude>META-INF/*.SF</exclude>
                            <exclude>META-INF/*.DSA</exclude>
                            <exclude>META-INF/*.RSA</exclude>
                        </excludes>
                    </filter>
                </filters>
            </configuration>
        </execution>
    </executions>
</plugin>

日志的配置

Flink附带了默认的日志配置文件：

  • log4j-cli.properties：由 Flink 命令行客户端使用（例如 flink run）（不包括在集群上执行的代码）。这个文件是我们使用flink run提交任务时，任务提交到集群前打印的日志所需的配置。
  • log4j-session.properties：Flink 命令行客户端在启动 YARN 或 Kubernetes session 时使用（yarn-session.sh，kubernetes-session.sh）。
  • log4j.properties：作为 JobManager/TaskManager 日志配置使用（standalone 和 YARN 两种模式下皆使用）

所以使用flink run这种方式提交任务，会自动去FLINK_HOME下的conf目录下找log4j.properties的文件作为jobmanager和taskmanager的日志配置。

官方说使用 -Dlog4j.configurationFile= 参数可以传递日志文件，但是我试了几次都不可以。

所以如果要对日志级别、模板进行修改的话，就直接改这个log4j.properties文件就好了。

滚动日志的配置

默认的日志配置文件不是滚动的，所以日志文件很大的话，会暂用较多的资源，我们需要修改为滚动日志。

滚动日志的配置内容

rootLogger.level = INFO
rootLogger.appenderRef.rolling.ref = RollingFileAppender

logger.akka.name = akka
logger.akka.level = INFO
logger.kafka.name= org.apache.kafka
logger.kafka.level = INFO
logger.hadoop.name = org.apache.hadoop
logger.hadoop.level = INFO
logger.zookeeper.name = org.apache.zookeeper
logger.zookeeper.level = INFO

logger.upupfeng.name = com.upupfeng
logger.upupfeng.level = INFO
logger.upupfeng.additivity = false
logger.upupfeng.appenderRef.rolling.ref = RollingFileAppender

appender.rolling.name = RollingFileAppender
appender.rolling.type = RollingFile
appender.rolling.fileName = ${sys:log.file}
appender.rolling.filePattern = ${sys:log.file}.%i
appender.rolling.layout.type = PatternLayout
appender.rolling.layout.pattern = %d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n
appender.rolling.policies.type = Policies
appender.rolling.policies.size.type = SizeBasedTriggeringPolicy
appender.rolling.policies.size.size=100MB
appender.rolling.strategy.type = DefaultRolloverStrategy
appender.rolling.strategy.max = 10

logger.netty.name = org.apache.flink.shaded.akka.org.jboss.netty.channel.DefaultChannelPipeline
logger.netty.level = OFF

效果

提交任务后，就会生成如下的滚动日志了。

-rw-r--r-- 1 yarn yarn  30112705 Mar  6 09:49 taskmanager.log
-rw-r--r-- 1 yarn yarn 104857827 Mar  6 09:48 taskmanager.log.1
-rw-r--r-- 1 yarn yarn 104857687 Mar  6 09:49 taskmanager.log.10
-rw-r--r-- 1 yarn yarn 104857649 Mar  6 09:48 taskmanager.log.2
-rw-r--r-- 1 yarn yarn 104857692 Mar  6 09:48 taskmanager.log.3
-rw-r--r-- 1 yarn yarn 104857693 Mar  6 09:48 taskmanager.log.4
-rw-r--r-- 1 yarn yarn 104857831 Mar  6 09:49 taskmanager.log.5
-rw-r--r-- 1 yarn yarn 104857707 Mar  6 09:49 taskmanager.log.6
-rw-r--r-- 1 yarn yarn 104857649 Mar  6 09:49 taskmanager.log.7
-rw-r--r-- 1 yarn yarn 104857659 Mar  6 09:49 taskmanager.log.8
-rw-r--r-- 1 yarn yarn 104857646 Mar  6 09:49 taskmanager.log.9

参考

Flink原理：Flink中的日志框架配置 https://www.codenong.com/cs106739594/

Flink官网：如何使用日志记录 https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/deployment/advanced/logging.html

slf4j-api和slf4j-simple https://blog.csdn.net/u011179993/article/details/52490013

slf4j-api、slf4j-log4j12、log4j之间关系 https://www.cnblogs.com/lujiango/p/8573411.html

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 198,932评论 5赞 466
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 83,554评论 2赞 375
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 145,894评论 0赞 328
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 53,442评论 1赞 268
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 62,347评论 5赞 359
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 47,899评论 1赞 275
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,325评论 3赞 390
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 35,980评论 0赞 254
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,196评论 1赞 294
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,163评论 2赞 317
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,085评论 1赞 328
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 32,826评论 3赞 316
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,389评论 3赞 302
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,501评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,753评论 1赞 255
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 42,171评论 2赞 344
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 41,616评论 2赞 339