1.介绍 当你使用 Snowpark API 创建一个 UDF 时，Snowpark 库会将你的 UDF 代码序列化并上传到一个Internal Stage。当你调用 UDF...
发简信
IP属地：北京
1.介绍 当你使用 Snowpark API 创建一个 UDF 时，Snowpark 库会将你的 UDF 代码序列化并上传到一个Internal Stage。当你调用 UDF...
1.版本要求 Scala：2.12 (不支持2.13)JVM for Scala: 11.x 2.Setting Up IntelliJ IDEA CE for Snowpa...
Snowpark库为在Snowflake中以规模查询和处理数据提供了直观的library。使用这个library中的任意一种语言，你可以构建在Snowflake中处理数据的应...
Why Share Data with Snowflake 当你使用Snowflake作为数据提供商分享数据时，你可以管理谁可以访问你的数据，并避免在不同的人员和团队之间同步...
Hudi通过一种索引机制，将给定的Hoodie key（record key + partition path）一致地映射到file ID，从而提供了高效的upserts操作...
什么是Hudi？ HUDI（Hadoop Upserts Deletes and Incrementals）是一个开源的数据湖工具，用于管理大规模数据湖中的数据。 HUDI旨...
创建型设计模式 主要解决对象的创建问题，封装复杂的创建过程，解耦对象的创建代码合使用代码。 单例模式 单例模式用来创建全局唯一的对象。一个类只允许创建一个对象，这个类就是一个...
命名 1.命名的准则是准确的表达意义。对于不同作用域的命名，可以选择不同的长度。一般来说，作用域小的变量（比如临时变量），可以选择短一些的命名方式。2.可以借助类的信息来简化...
单一职责原则的定义 一个类只负责完成一个职责或者功能。也就是说，不要设计大而全的类，要设计粒度小、功能单一的类。举个例子：如果一个类中即包含订单的操作、又包含用户的操作，这就...
极客时间《设计模式之美》学习 如何进行面向对象设计？ 在面向对象设计阶段，我们将需求描述转化为具体的类。可以包含以下几部分： 划分职责进而识别出有哪些类； 定义类及其属性和方...
为什么不推荐使用继承？ 虽然继承可以解决代码复用问题，但继承层次过深、过复杂，也会影响到代码的可维护性。 组合相比继承的优势 如果继承出现了以上问题，我们可以利用组合、接口、...
基于接口而非实现编程。这个原则是一种非常有效的提高代码质量的手段。越抽象、越顶层、越脱离具体某一实现的设计，越能提高代码的灵活性，越能应对未来的需求变化。好的代码设计，不仅能...
抽象类的特性 不允许被实例化，只能被继承，不能new一个抽象类的对象出来； 抽象类可以包含属性和方法。方法既可以包含实现，也可以不包含，不包含代码实现的方法叫做抽象方法； 子...
面向对象编程：以类或对象作为组织代码的基本单元，将封装、抽象、继承、多态，作为代码设计和实现的基石。面向对象编程语言：支持类或对象的语法机制，能方便的实现上述四大面向对象特性...
1. 可维护性(maintainability) 在不破坏原有代码设计、不引入新的bug的情况下，能够快速地修改或者添加代码。 2.可读性 (readability) 需要看...
--- 极客时间 《大数据经典论文解读》学习 Dremel相比于MapReduce，其数据检索速度快了一个数量级。它的核心思路是以下四条： 让计算节点和存储节点放在同一台Se...
软件版本 Mysql: 5.7Hadoop: 3.1.3Flink: 1.12.2Hudi: 0.9.0Hive: 2.3.7 1.Mysql建表并开启bin_log 2.安...
原文：https://animeshtrivedi.github.io/spark-parquet-reading[https://animeshtrivedi.github...