spark写入es自测

import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}

import org.elasticsearch.spark.sql._

object ESDemoSqlConfigOptionSql {

def main(args: Array[String]):Unit = {

val spark = SparkSession.builder()

.appName("ESDemoSqlConfigOptionSql")

.getOrCreate()

val options =Map(

"es.index.auto.create" ->"false",

      "es.nodes.wan.only" ->"false",

      "es.nodes" ->"127.0.0.1:9200",

      "es.net.http.user" ->"user",

      "es.net.http.auth.pass" ->"pwd",

      "es.mapping.id" ->"rowkey",

      "es.resource" ->"targettb1/_doc"

    )

val df1:DataFrame = spark.sql("select * from targettb1")

df1.saveToEs(options)

df1.write

.options(options)

.mode(SaveMode.Append)

.format("org.elasticsearch.spark.sql.DefaultSource15")

.save()

}

}

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容