flink on k8s

按照最新的1.11.0版本官方文档装的，中间有些修改，装完后运行了下wordcount是可以运行的，但是web界面任务状态刷不出来，有些异常

官网地址：

https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/kubernetes.html

kubectl apply 以下几个文件

flink配置文件

flink-configuration-configmap.yaml

apiVersion: v1

kind: ConfigMap

metadata:

  name: flink-config

  labels:

    app: flink

data:

  flink-conf.yaml: |+

    jobmanager.rpc.address: flink-jobmanager

    taskmanager.numberOfTaskSlots: 20

    blob.server.port: 6124

    jobmanager.rpc.port: 6123

    taskmanager.rpc.port: 6122

    queryable-state.proxy.ports: 6125

    jobmanager.memory.process.size: 1600m

    taskmanager.memory.process.size: 18000m

    parallelism.default: 2

    classloader.resolve-order: child-first

  log4j-console.properties: |+

    # This affects logging for both user code and Flink

    rootLogger.level = INFO

    rootLogger.appenderRef.console.ref = ConsoleAppender

    rootLogger.appenderRef.rolling.ref = RollingFileAppender

    # Uncomment this if you want to _only_ change Flink's logging

    #logger.flink.name = org.apache.flink

    #logger.flink.level = INFO

    # The following lines keep the log level of common libraries/connectors on

    # log level INFO. The root logger does not override this. You have to manually

    # change the log levels here.

    logger.akka.name = akka

    logger.akka.level = INFO

    logger.kafka.name= org.apache.kafka

    logger.kafka.level = INFO

    logger.hadoop.name = org.apache.hadoop

    logger.hadoop.level = INFO

    logger.zookeeper.name = org.apache.zookeeper

    logger.zookeeper.level = INFO

    # Log all infos to the console

    appender.console.name = ConsoleAppender

    appender.console.type = CONSOLE

    appender.console.layout.type = PatternLayout

    appender.console.layout.pattern = %d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n

    # Log all infos in the given rolling file

    appender.rolling.name = RollingFileAppender

    appender.rolling.type = RollingFile

    appender.rolling.append = false

    appender.rolling.fileName = ${sys:log.file}

    appender.rolling.filePattern = ${sys:log.file}.%i

    appender.rolling.layout.type = PatternLayout

    appender.rolling.layout.pattern = %d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n

    appender.rolling.policies.type = Policies

    appender.rolling.policies.size.type = SizeBasedTriggeringPolicy

    appender.rolling.policies.size.size=100MB

    appender.rolling.strategy.type = DefaultRolloverStrategy

    appender.rolling.strategy.max = 10

    # Suppress the irrelevant (wrong) warnings from the Netty channel handler

    logger.netty.name = org.apache.flink.shaded.akka.org.jboss.netty.channel.DefaultChannelPipeline

    logger.netty.level = OFF

  log4j-cli.properties: |+

    log4j.rootLogger=INFO, file

    #Log all infos in the given file

    log4j.appender.file=org.apache.log4j.FileAppender

    log4j.appender.file.file=${log.file}

    log4j.appender.file.append=false

    log4j.appender.file.layout=org.apache.log4j.PatternLayout

    log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n

    # Log output from org.apache.flink.yarn to the console. This is used by the

    # CliFrontend class when using a per-job YARN cluster.

    log4j.logger.org.apache.flink.yarn=INFO, console

    log4j.logger.org.apache.flink.yarn.cli.FlinkYarnSessionCli=INFO, console

    log4j.logger.org.apache.hadoop=INFO, console


    log4j.appender.console=org.apache.log4j.ConsoleAppender

    log4j.appender.console.layout=org.apache.log4j.PatternLayout

    log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n


    # suppress the warning that hadoop native libraries are not loaded (irrelevant for the client)

    log4j.logger.org.apache.hadoop.util.NativeCodeLoader=OFF


    # suppress the irrelevant (wrong) warnings from the netty channel handler

    log4j.logger.org.apache.flink.shaded.akka.org.jboss.netty.channel.DefaultChannelPipeline=ERROR, file

  log4j.properties: |+

    log4j.rootLogger=INFO, file

    log4j.logger.akka=INFO

    log4j.logger.org.apache.kafka=INFO

    log4j.logger.org.apache.hadoop=INFO

    log4j.logger.org.apache.zookeeper=INFO

    log4j.appender.file=org.apache.log4j.FileAppender

    log4j.appender.file.file=${log.file}

    log4j.appender.file.layout=org.apache.log4j.PatternLayout

    log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n

    log4j.logger.org.apache.flink.shaded.akka.org.jboss.netty.channel.DefaultChannelPipeline=ERROR, file

jobmanager外部端口service

jobmanager-rest-service.yaml

apiVersion: v1

kind: Service

metadata:

  name: flink-jobmanager-rest

spec:

  type: NodePort

  ports:

  - name: rest

    port: 8081

    targetPort: 8081

    nodePort: 30081

  selector:

    app: flink

    component: jobmanager

jobmanager通信service

jobmanager-service.yaml

apiVersion: v1

kind: Service

metadata:

  name: flink-jobmanager

spec:

  type: ClusterIP

  ports:

  - name: rpc

    port: 6123

  - name: blob-server

    port: 6124

  - name: webui

    port: 8081

  selector:

    app: flink

    component: jobmanager

taskmanager外部端口service

taskmanager-query-stat-service.yaml

apiVersion: v1

kind: Service

metadata:

  name: flink-taskmanager-query-state

spec:

  type: NodePort

  ports:

  - name: query-state

    port: 6125

    targetPort: 6125

    nodePort: 30025

  selector:

    app: flink

    component: taskmanager

taskmanager会话

taskmanager-session-deployment.yaml

apiVersion: apps/v1

kind: Deployment

metadata:

  name: flink-taskmanager

spec:

  replicas: 3

  selector:

    matchLabels:

      app: flink

      component: taskmanager

  template:

    metadata:

      labels:

        app: flink

        component: taskmanager

    spec:

      containers:

      - name: taskmanager

      #  image: flink:1.7.2-scala_2.11

        image: 172.16.22.162:5000/myflink:v2

        args: ["taskmanager"]

        ports:

        - containerPort: 6121

          name: data

        - containerPort: 6122

          name: rpc

        - containerPort: 6125

          name: query-state

        livenessProbe:

          tcpSocket:

            port: 6122

          initialDelaySeconds: 30

          periodSeconds: 60

        volumeMounts:

        - name: flink-config-volume

          mountPath: /opt/flink/conf/

        securityContext:

          runAsUser: 9999  # refers to user _flink_ from official flink image, change if necessary

        env:

      volumes:

      - name: flink-config-volume

        configMap:

          name: flink-config

          items:

          - key: flink-conf.yaml

            path: flink-conf.yaml

          - key: log4j-console.properties

            path: log4j-console.properties

          - key: log4j-cli.properties

            path: log4j-cli.properties

          - key: log4j.properties

            path: log4j.properties

jobmanager会话

jobmanager-session-deployment.yaml

apiVersion: apps/v1

kind: Deployment

metadata:

  name: flink-jobmanager

spec:

  replicas: 1

  selector:

    matchLabels:

      app: flink

      component: jobmanager

  template:

    metadata:

      labels:

        app: flink

        component: jobmanager

    spec:

      containers:

      - name: jobmanager

      #  image: flink:1.7.2-scala_2.11

        image: 172.16.22.162:5000/myflink:v2

#        command: ['chown -R flink:flink /']

        args: ["jobmanager"]

#        command: ["chown -R flink:flink /opt/flink"]

        ports:

        - containerPort: 6123

          name: rpc

        - containerPort: 6124

          name: blob-server

        - containerPort: 8081

          name: webui

        livenessProbe:

          tcpSocket:

            port: 6123

          initialDelaySeconds: 30

          periodSeconds: 60

        volumeMounts:

        - name: flink-config-volume

          mountPath: /opt/flink/conf

        securityContext:

          runAsUser: 9999  # refers to user _flink_ from official flink image, change if necessary

      volumes:

      - name: flink-config-volume

        configMap:

          name: flink-config

          items:

          - key: flink-conf.yaml

            path: flink-conf.yaml

          - key: log4j-console.properties

            path: log4j-console.properties

          - key: log4j-cli.properties

            path: log4j-cli.properties

          - key: log4j.properties

            path: log4j.properties

kubectl apply -f flink-configuration-configmap.yaml

kubectl apply -f jobmanager-service.yaml

kubectl apply -f jobmanager-rest-service.yaml

kubectl apply -f taskmanager-query-stat-service.yaml

kubectl apply -f jobmanager-session-deployment.yaml

kubectl apply -f taskmanager-session-deployment.yaml

去nodeport端口30081访问即可

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 198,154评论 5赞 464
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 83,252评论 2赞 375
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 145,107评论 0赞 327
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 52,985评论 1赞 268
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 61,905评论 5赞 359
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 47,256评论 1赞 275
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 36,978评论 3赞 388
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 35,611评论 0赞 254
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 39,891评论 1赞 293
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,910评论 2赞 314
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,736评论 1赞 328
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 32,516评论 3赞 316
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 37,995评论 3赞 301
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,132评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,447评论 1赞 255
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 42,034评论 2赞 343
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 41,242评论 2赞 339