Databend 社区积极拥抱 Rust 生态(202111回顾)

Databend 旨在成为一个 开源、弹性、可靠 的无服务器数仓,查询快如闪电,与 弹性、简单、低成本 的云服务有机结合。数据云的构建,从未如此简单!


Databend 对 Rust 社区的意义

Databend 的团队成员大多有丰富的数据库/数据平台开发及开源协作经验。我们选用 Rust 来开发高性能、高可靠的下一代数据云服务。


  1. 打造 Rust 数仓领域的头号种子选手,展示 Rust 的魅力,推动 Rust 在数据库领域的进一步应用。
  2. 持续推动 Rust 在数据治理/数据库/云原生等领域的发力,改善生态和工具。
  3. 为广大 Rustacean 提供更多学习/练手/就业机会,也为社区培养一批数据库开发能手。

Databend 和 Rust 生态的紧密联系

从 Databend 社区建立的第一天起,我们就抱有“从社区中来,到社区中去”的信念,积极拥抱开源和 Rust 生态。

课程

自 8 月起,Databend 和 Rust 中文社区、知数堂一道,启动了面向 Rustacean 和数据库开发人员的公开课计划。


Rust 培养提高计划

Databend 专栏

上游

Databend 的成功离不开 Rust 生态的繁荣和高质量的上游项目,Databend 社区也会不定期向上游提供补丁,为共筑更好的 Rust 生态而努力。


file
  • advisory-db - 为发布在 crates.io 的 Rust crate 制作的安全咨询数据库
  • 为 RUSTSEC-2020-0009 添加 flatbuffers 补丁版本
  • arrow-rs & arrow-flight & parquet - Apache Arrow / Parquet 的官方 Rust 实现,Databend 早期的重要依赖
    • 为 sort 添加 limit 选项
    • 受 RUSTSEC-2020-0009 影响,更新 flatbuffers 到最新版本
    • prettytable-rs 处于未维护状态,替换为 comfy-table
    • 更新 prost 到 0.8 ,以及相应的 tonic 更新
    • 更新 prost 到 0.9 ,以及相应的 tonic 更新,修复 error
  • arrow2 & arrow-format & parquet2 - 使用 transmute-free 操作重写的 Arrow 和最快也最安全(unsafe free)的 Parquet 实现
    • 为 merge sort 添加 limit 选项
    • 改进 sort
    • 添加 wrapping_cast 提高 cast 性能
    • 添加对 BinaryArray 的计算支持
    • prettytable-rs 处于未维护状态,替换为 comfy-table
    • 更新 prost 到 0.8 ,以及相应的 tonic 更新
    • 更新 prost 到 0.9 ,以及相应的 tonic 更新,修复 error 及 clippy lints
  • async-raft - 基于 tokio 的异步 raft 共识算法实现
  • cargo-license - 用于查看依赖所采用许可协议的实用工具
    • 更新依赖以避免冲突,修复 clippy lints
  • clickhouse-srv - 用于编写可以充当 ClickHouse 服务器的绑定
    • 该项目由 Databend 团队成员开发并维护。
    • 目前已经合并到 Databend 项目,位于 common/clickhouse-srv
  • float-cmp - 浮点数近似比较
    • 指定 num-traits 的最小版本,并修复 clippy lints,以帮助上游依赖通过 minver test
  • hashbrown - 高性能 HashMap ,目前也是标准库的一部分
    • 更新 rand 到 0.8.3
  • lru-rs - Lru Cache 实现
    • 更新 hashbrown 到 0.11.2 ,修复 clippy lints
  • mockall - 用于方便编写测试的实用库
    • 更新受 RUSTSEC-2020-0095 影响的依赖
  • msql-srv - 用于编写可以充当 MySQL / MariaDB 服务器的绑定
    • 修复 COM_FIELD_LIST 的相应
    • 同步依赖到最新版本,修复测试中的依赖
    • 增加基本的 AuthPlugin 支持
    • 查询进度信息统计
    • 部分补丁正在试图合并到上游,目前可以先在 datafuse-extras/msql-srv 试用
  • pprof - CPU / 应用程式性能测试工具
    • 更新 prost 到 0.8 ,以及相应的 tonic 更新
    • 更新 prost 到 0.9 ,以及相应的 tonic 更新,修复 clippy lints
  • ritelinked - 快速 & 好用的 LinkedHashMap & LinkedHashSet 实现
    • 该项目由 Databend 团队成员开发并维护。
    • 目前位于 ritelabs/ritelinked
  • sqlparser-rs - 可拓展的 SQL 词法分析器和语法解析器
    • 使用返回 error 替代 panic
    • 添加基于 honggfuzz 的模糊测试工具
    • 支持 tinyint
    • datafuse-extras/sqlparser-rs 目前包含一些 Databend 定制的特性
      • 支持 INSERT FORMAT
      • 支持 cast(a, b)
      • 使函数支持参数
      • 支持 substring(string, start, length) 语法
  • structopt-toml - structopt 的 TOML 默认值加载工具
    • failure 处于未维护状态,替换为 anyhow

Databend 的社区建设计划

Databend 社区是由每一个关注者、开发者、使用者共同建设的平台,在未来我们也会持续完善回馈机制,帮助每个社区成员能够在社区建设过程中获得成长与进步。


  1. 建立和健全开发者成长体系,为 Rustacean 提供学习、实践、创新的平台
  2. 持续输出高质量 Rust + 数据库 课程,邀请行业专家分享开发实践经验,宣传 Databend 生态中的优质项目
  3. 为重要的上下游项目和优质开发者提供赞助、培训等机会,以鼓励其在开源和生态中的贡献

Databend 名字渊源于相对论。由于物质的存在,时间和空间会发生弯曲,这就是相对论的 Time Bend 。我们期望 Databend 的出现可以让用户重新审视数据,从而挖掘数据中存在的更大价值, 同时让用户大数据这个领域中:Make life easier 。

欢迎加入 Databend 社区,与我们一道,用 Rust 构建下一代的数据云服务。

如果想了解更多,可以关注公众号: Databend

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,185评论 6 503
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,652评论 3 393
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,524评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,339评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,387评论 6 391
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,287评论 1 301
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,130评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,985评论 0 275
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,420评论 1 313
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,617评论 3 334
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,779评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,477评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,088评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,716评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,857评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,876评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,700评论 2 354

推荐阅读更多精彩内容