SQL复用告别拷贝黏贴!兄dei, 来看看

本文将介绍如何通过MLSQL将一条又长又复杂(子查询,Join以及重复片段满天飞)的SQL简化成萌新都能看懂的SQL语句。

​案例来了

下面一条SQL是从网上随便找的,大家可以看到,这条SQL结构上从结构上具备复杂化的潜质,子查询,Join等用的不亦乐乎。然而和真实的业务场景里的SQL复杂度比前来,这条SQL的复杂度简直是孙子级别的。

image

如果我们仔细思考下,我们至少发现两点:

  1. 这条SQL语句嵌套比较多,也就是里面有不少子查询以及join(union)查询。无论对于计算机还是人,嵌套分支其实都不是友好的,对人而言加大了理解难度,对机器而言会影响流水线并行。
  2. SQL里很多比较复杂的结构比如case when会重复的使用在同一条SQL语句的多个地方,你会惊讶的发现没有办法复用。

还有一点,数仓是有严格管理的,通常也有专业的团队维护,这意味着你并不能随心所欲在在数仓创建你经常用到的表。比如你经常会组合数仓中的A,B,C表得到一张表D,该表一般作为子查询使用。遗憾的是,你可能没办法很容易的去说服数仓团队帮你持久化D表。不得已,你可能需要有个小本本记住这条SQL,然后需要用的时候复制拷贝黏贴进你的业务SQL(大部分情况会作为子查询)。

因为当前大部分系统实现的SQL是以语句为单位的,多条SQL要联系起来,需要将表落地,而这个成本是比较高昂的,所以大家尽可能将一个功能需求在一条SQL中来完成,这又反向导致SQL变得很复杂。

现在,我们来用MLSQL来简化上面那条SQL。<u style="text-decoration: none; border-bottom: 1px dashed grey;">MLSQL</u> 是面向大数据和AI的一门语言,对SQL做了一定的增强,使得SQL更适用于脚本。

打平SQL,线性结构最符合大脑

首先,我们先把SQL展开,顺序化。在MLSQL中做法很简单,把子查询都摘录出来,然后在每个子查询语句的最后用分号来表示一条语句结束了。

image

在MLSQL Console里是这样的:

image

这个脚本是可以直接运行的,只需点击Run即可。

我们看到MLSQL允许你将一条条子查询独立出来,每条语句使用分号进行分割。其次,在后续语句中,你可以直接引用已经独立出来的子查询。进一步的,为了保持语法上的一致,MLSQL要求所有Select语句都需要以as TableName结尾。通过打平SQL语句,使得单条SQL复杂度有了很大的降低。

将多条SQL语句拆开成多个文件

创建a.mlsql, b.mlsql, main.mlsql 三个脚本。

其中a.mlsql为:

image

b.mlsql为:

image

main.mlsql:

image

可以看到,MLSQL支持inlclude语法,允许你将某些脚本包含到另外一个脚本中。在MLSQL最后的结果是这样:

image

这意味着,以后你要用a表,b表,你可以直接include对应的文件即可。

消除重复语句

我们发现下面两句非常重复,基本上意味着你必然会进行拷贝黏贴。

image

通过MLSQL我们可以进一步消消乐:

image

这里,我们通过set语法设置了一个模板,你会发现模板里有几个特殊的字符:

{0}

{1}

这个是参数占位符,他们分别会被第一个参数和第二个参数替换。对于语句:

  ${template.get("selectTemplate","a","b")}

系统首先会找到模板selectTemplate,然后用a替换{0},用b替换所有{1},最后语句会被渲染成:

a.player AS player , a.lose AS totallose, b.win AS totalwin, (totallose+totalwin) AS total

set语法也可以单独成一个文件,然后被其他语句引用。

最后成品:

image

可以看到,语句简化了非常多,而且更加易于阅读和复用,避免拷贝黏贴。

=========
欢迎大家关注我公众号 【祝威廉】

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,839评论 6 482
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,543评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,116评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,371评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,384评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,111评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,416评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,053评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,558评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,007评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,117评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,756评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,324评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,315评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,539评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,578评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,877评论 2 345