clickhouse简介

clickhouse是Yandex在2016年6月15日开源的，发展非常迅猛，代码维护非常频繁，刚刚看了下1 hour ago；社区很活跃，证明其活力满满；官网也比较详细，惊喜的是有中文模式可以切换！！！ 官网地址

这是一款列式的OLAP数据库，适用于数据分析，也可用于IOT中，主要基于大批量写入以及大量查询，不建议对数据做修改和删除。

目前已在使用的互联网大厂如今日头条，携程，腾讯，快手，主要用于OLAP方向，数据总量达到PB级别，每日新增达到TB级别。而且，阿里云已经推出了clickhouse的服务了！

clickhouse的特征

1. 读多于写

2. 大宽表（多列中取少量列，比如IOT业务中一次采集可能上百个字段，只用其中的几个）

3. 数据批量写入（少更新或者不更新）

4. 无事务特征

5. 多核cpu并行处理

6. 支持sql操作

clickhouse底层简单描述

clickhouse是列式的数据库，较于mysql等优势就在于列式存储，把几列分为一块，OLAP任务只需要几列，我们只需要找到那几列的内存块，就加快了查询效率，同时，由于同一列的数据结构都是一致的，可以对数据进行压缩，大幅度减少存储压力。

clickhouse的简单测试

官网下载1.2G的文件

image.png

一条记录133个字段

image.png

image.png

clickhouse + zookeeper + kafka的使用

docker创建clickhouse服务

docker pull yandex/clickhouse-server
docker run -d -p 8123:8123 --name some-clickhouse-server --ulimit nofile=262144:262144 --volume=$HOME/some_clickhouse_database:/var/lib/clickhouse yandex/clickhouse-server（$HOME/some_clickhouse_database 自己文件夹的目录）

这样clickhouse的server端已经开启。

如果想用sql操作：

docker run -it --rm --link some-clickhouse-server:clickhouse-server yandex/clickhouse-client --host clickhouse-server

这个命令会开启一个sql交互的窗口，可以执行sql。

docker创建zookeeper和kafka服务

docker pull wurstmeister/zookeeper

docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

zookeeper成功启动。

docker pull wurstmeister/kafka

docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT={你的机器的IP}:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://{你的机器的IP}:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

kafka启动成功。

clickhouse作为消费者

CREATE TABLE queue (

    `user_id` UInt64,

    `name` String,

    `message` String,

    `timestamp` DateTime64(3,'Asia/Shanghai')

  ) ENGINE = Kafka SETTINGS kafka_broker_list = '{你的机器IP}:9092',

                            kafka_topic_list = 'topic',

                            kafka_group_name = 'group1',

                            kafka_format = 'JSONEachRow',

                            kafka_num_consumers = 1;

CREATE TABLE daily (

    `user_id` UInt64,

    `name` String,

    `timestamp` DateTime64(3,'Asia/Shanghai')

  ) ENGINE = MergeTree()

    ORDER BY user_id

CREATE MATERIALIZED VIEW consumer TO daily

    AS SELECT user_id, name, timestamp

    FROM queue;

这样最后的数据就会导入到daily表中。

生产者代码(python版)

import json
import traceback
import datetime

from kafka import KafkaProducer
from kafka.errors import kafka_errors


def producer4ck(dict_msg: dict):
    producer = KafkaProducer(
        bootstrap_servers=['localhost:9092'],
        key_serializer=lambda k: json.dumps(k).encode(),
        value_serializer=lambda v: json.dumps(v).encode())
    for i in range(0, 1000):
        for k, v in dict_msg.items():
            if k == "user_id":
                dict_msg[k] = v + i
            if k == "timestamp":
                dict_msg['timestamp'] = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S.%f')
        future = producer.send(
            'topic1',
            key='daily_data1',  # 同一个key值，会被送至同一个分区
            value=dict_msg,
            partition=0)  # 向分区0发送消息
        print("send {}".format(str(i)))
        try:
            future.get(timeout=10)  # 监控是否发送成功
        except kafka_errors:  # 发送失败抛出kafka_errors
            traceback.format_exc()

if __name__ == '__main__':
    data = {"user_id": 0, "name": "dixiu", "message": 'this is test about ck_test', "timestamp": ""}
    producer4ck(data)

最后你会发现数据已在clickhouse表中。

此文章应用较浅，跑通了一部分流程，起码保证是可用的，之后希望和大家共同努力，玩转CK。