presto 的安装与使用

相关说明:

Presto官网: Presto | Distributed SQL Query Engine for Big Data (prestodb.io)

DeltaLake官网: Delta Lake - Reliable Data Lakes at Scale

安装Presto:

  1. 安装文档链接如下:
    Deploying Presto — Presto 0.252 Documentation (prestodb.io)

  2. 中文描述:
    a. 下载presto-server-0.252.tar.gz,上传到Linux 服务器并重命名为presto
    b. 进入到presto目录,创建etc目录,命令如下:

cd presto
mkdir etc
mkdir etc/catalog
touch etc/node.properties
touch etc/jvm.config
touch etc/config.properties

c. 添加属性

  1. node.properties添加以下属性,当然也可以根据官网的提示进行修改:
node.environment=production  #节点名字,集群中这个名字要一样
node.id=ffffffff-ffff-ffff-ffff-ffffffffffff #唯一标识,可以为其他的数字
node.data-dir=/var/presto/data #数据目录
  1. jvm.config添加以下属性:
-server
-Xmx16G
-XX:+UseG1GC
-XX:G1HeapRegionSize=32M
-XX:+UseGCOverheadLimit
-XX:+ExplicitGCInvokesConcurrent
-XX:+HeapDumpOnOutOfMemoryError
-XX:+ExitOnOutOfMemoryError
  1. config.properties添加以下属性(这个是单机版的属性,如果是集群请参考官网):
coordinator=true
node-scheduler.include-coordinator=true
http-server.http.port=8080
query.max-memory=5GB
query.max-memory-per-node=1GB
query.max-total-memory-per-node=2GB
discovery-server.enabled=true
discovery.uri=http://example.net:8080
  1. catalog目录下是放置的连接器配置,需要根据自己的需要进行配置,连接器配置链接如下:
    Connectors — Presto 0.252 Documentation (prestodb.io)

d. 下载 presto-cli-0.252-executable.jar 客户端jar包,上传到Linux服务器,并将jar包变为可执行环境,命令如下:

chmod +x  presto-cli-0.252-executable.jar

启动Presto

  1. 进入到presto/bin目录下,执行以下命令:
bin/launcher start
  1. 客户端登录服务器,执行
presto --server localhost:8080 --catalog hive --schema default
# catalog 是catalog目录的连接器文件名,而非配置名称,很重要。
# schema 相当于数据库,但并非是真正的数据库
# 8080 是config.properties中配置的端口,自己根据需要改

Presto整合Deltalake

详细整合的步骤链接:Presto and Athena to Delta Lake integration — Delta Lake Documentation

中文简化版Presto与DeltaLake整合过程如下:
Step1. 通过SQL, Scala, Java, Python 其中之一生成Mainfest文件,具体如下:

#SQL 生成方式
GENERATE symlink_format_manifest FOR TABLE delta.`<path-to-delta-table>`

 #Scala 生成方式
val deltaTable = DeltaTable.forPath(<path-to-delta-table>)
deltaTable.generate("symlink_format_manifest")

#Java生成方式
DeltaTable deltaTable = DeltaTable.forPath(<path-to-delta-table>);
deltaTable.generate("symlink_format_manifest");

#Python生成方式
deltaTable = DeltaTable.forPath(<path-to-delta-table>)
deltaTable.generate("symlink_format_manifest")

#注意:forPath 是要整合的数据路径,"symlink_format_manifest" 是固定的,不可更改

Step2. 生成Presto表

CREATE EXTERNAL TABLE mytable ([(col_name1 col_datatype1, ...)])
[PARTITIONED BY (col_name2 col_datatype2, ...)]
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.SymlinkTextInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION '<path-to-delta-table>/_symlink_format_manifest/'  -- location of the generated manifest

注意1:Presto是无法生成外部表的,需要在Hive或者Spark中进行生成,生成的语句就是上面的语句,但是Athena 是可以直接生成外部表的

注意2:在通过以上语句在Hive或者Spark中生成的表,可以直接在Presto直接使用,但在Hive中查出来的是为Null

===============================================================
2021-06-16 更新

通过以下命令进入到presto

./prestocli --server IP:Port --catalog hive
# ip:安装有presto的地址
# port:/etc/config.properties 中 http-server.http.port=port 的端口配置
# catalog: /etc/catalog 下的hive.properties的文件名

进入之后进行相关的操作需要指定schema,查看有多少个schema,使用以下命令

show schemas;

#显示结果如下:
default            
information_schema 
test               
(3 rows)
Query 20210616_023139_00010_prehn, FINISHED, 3 nodes
Splits: 36 total, 36 done (100.00%)
0:00 [3 rows, 68B] [12 rows/s, 170B/s]
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,372评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,368评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,415评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,157评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,171评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,125评论 1 297
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,028评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,887评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,310评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,533评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,690评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,411评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,004评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,659评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,812评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,693评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,577评论 2 353

推荐阅读更多精彩内容