240 发简信
IP属地:广东
  • 120
    Lambda架构,Kappa架构和去ETL化的IOTA架构

    经过这么多年的发展,已经从大数据1.0的BI/Datawarehouse时代,经过大数据2.0的Web/APP过渡,进入到了IOT的大数据3.0时代,而随之而来的是数据架构的...

  • Python操作Azure Storage Blob经验

    本文不同于官网的HelloWorld式入门,它没考虑账号安全和数据量等实际应用情况 本文经验并不全面,因为一般会使用StorageExplorer和AzCopyV10,Pyt...

  • JAVA后端文档模板工具推荐- FreeMaker

    英文官网:https://freemarker.apache.org/中文手册官网:http://freemarker.foofun.cn/index.html在英文官网有中...

  • Python3 Shell脚本执行-手动timeout

    Python 3.6.8场景:特殊的网络场景,有多台服务器的数据需要收集和整理,其中有多个环节需进行SSH和SCP;网络和服务器都是不稳定的,这时设置超时必不可少,比如,ss...

  • @vimwj 如果是使用maven打包,那在pom.xml还要加上maven-compiler-plugin
    ```
    <build>
    <plugins>
    <plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-compiler-plugin</artifactId>
    <configuration>
    <source>1.8</source>
    <target>1.8</target>
    </configuration>
    </plugin>
    <plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-jar-plugin</artifactId>
    <configuration>
    <archive>
    <addMavenDescriptor>false</addMavenDescriptor>
    </archive>
    </configuration>
    </plugin>
    </plugins>
    </build>
    <dependencies>
    ```

    Flink:注册Table Kafka Sink报错处理

    实现 实现Flink Job:读取阿里云LogService日志,统计事件后将指标写入搭建的Kafka中。JAVA 示例代码如下: 使用了TableAPI处理后,注册了一个K...

  • 工程师Speaking-经济适用不完全手册

    你抱怨干不过写PPT的吗?但事实就是,大家都是写PPT的,只是别人写得好,说得好。 在这里,我不是传授什么,因为我也"干不过"(也在梦想能被骂一句“写PPT的”)。我做了不少...

  • 人生不可不考虑的尝试-蓝色鸦片-潜水

    Under every rock, around every reef, a new discovery awaits. ——PADI人生就是一条大河,一去不返。那是否有另一...

  • 我在大数据工作中的挑战(1)-选择,统一

    在大数据的背后,我们无法直接目击的是超乎想象的大量数据,它们来自你无法预料的不同地方,不同的时刻,来自与人或者机器,它们的行为会混杂在一起,但有时又会出现“分歧”。大数据的种...

  • 一文读懂阿里云挑战 AWS 的底气【转载】

    本文转载自钛媒体,原文链接 摘要: 阿里云在直面公有云前辈竞争的时候正在变得越来越有自信,其云服务生态战略布局也在变得更加完善。尽管阿里云服务的收入距AWS依旧有着极大的差距...

  • 120
    Redis受人欢迎的使用场景

    本文主要说明Redis的常用场景。其实知道Redis是什么是很重要,如果你的场景其实就是一个工作流,而你还是以Redis是缓存的角度去看待,明显会出问题。希望阅读完本文后,你...

  • 为何要用Kafka实现消息系统

    消息系统非消息队列,Kafka具有消息队列和发布/订阅两种模式,两种传统的消息模式,但重要的是,Kafka同时兼容两种,而且灵活,强大 单独看这两种模式: 队列模式 可以替代...

  • Apache Kafka消费者组subscribe和assign的正确使用

    使用Apache Kafka 消费者组时,有一个为消费者分配对应分区partition的过程,我们可以使用“自动”subscribe和“手动”assign的方式。 同时进行“...

  • 120
    Flink:注册Table Kafka Sink报错处理

    实现 实现Flink Job:读取阿里云LogService日志,统计事件后将指标写入搭建的Kafka中。JAVA 示例代码如下: 使用了TableAPI处理后,注册了一个K...

个人介绍
大数据工程师、多面手,现供职于深圳一家人工智能公司