美团开源监控Cat安装与使用

序——之前一直在美团内部使用cat,十分便捷,这次单位内部要使用,拿来研究一番。其实Cat在GitHub上的部署文档已经比较详细了

服务端篇

一、准备环境

tomcat
mysql
jdk8
美团cat源码包 cat源码

二、开整

步骤1: 服务器创建目录
mkdir /data
chmod -R 777 /data/
mkdir -p /data/appdatas/cat/
步骤2: 服务器创建文件
cd /data/appdatas/cat/
vim client.xml 

将下列配置复制到client.xml中
注意: 2280是默认的CAT服务端接受数据的端口,不允许修改,http-port是Tomcat启动的端口,默认是8080,建议使用默认端口

<?xml version="1.0" encoding="utf-8"?>
<config mode="client">
    <servers>
        <server ip="10.1.1.1" port="2280" http-port="8080"/>
        <server ip="10.1.1.2" port="2280" http-port="8080"/>
        <server ip="10.1.1.3" port="2280" http-port="8080"/>
    </servers>
</config>
vim datasources.xml

将下列配置复制到datasources.xml中,注意修改自己的地址
集群模式每台CAT集群10.1.1.1,10.1.1.2,10.1.1.3都需要部署此文件

<?xml version="1.0" encoding="utf-8"?>

<data-sources>
    <data-source id="cat">
        <maximum-pool-size>3</maximum-pool-size>
        <connection-timeout>1s</connection-timeout>
        <idle-timeout>10m</idle-timeout>
        <statement-cache-size>1000</statement-cache-size>
        <properties>
            <driver>com.mysql.jdbc.Driver</driver>
            <url><![CDATA[jdbc:mysql://127.0.0.1:3306/cat]]></url>  <!-- 请替换为真实数据库URL及Port  -->
            <user>root</user>  <!-- 请替换为真实数据库用户名  -->
            <password>root</password>  <!-- 请替换为真实数据库密码  -->
            <connectionProperties><![CDATA[useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&socketTimeout=120000]]></connectionProperties>
        </properties>
    </data-source>
</data-sources>
步骤3:数据库配置

创建cat数据库
注意1:一套独立的CAT集群只需要一个数据库(之前碰到过个别同学在每台cat的服务端节点都安装了一个数据库)
注意2:数据库编码使用utf8mb4,否则可能造成中文乱码等问题

create database cat charset utf8mb4 collate utf8mb4_general_ci;

刷入表信息 cat建表语句

步骤4:打war包

源码打包
在cat的源码目录,执行mvn clean install -DskipTests
war包下载 官方war包下载
注意: 打出来的jar包重命名为cat.war进行部署,此war是用jdk8,服务端请使用jdk8版本

步骤5:war包部署

将war包扔到10.1.1.1的tomcat的webapps目录下,启动tomcat即可
访问 http://10.1.1.1:8080/cat/s/config?op=routerConfigUpdate
默认用户名:admin
默认密码:admin
继续将war包扔到10.1.1.2,10.1.1.3中,启动tomcat

步骤6:服务器配置

配置链接:http://{ip:port}/cat/s/config?op=serverConfigUpdate
说明:这个只需要更新一次,配置是保存在mysql的数据库里面。

CAT节点职责
控制台 - 提供给业务人员进行数据查看【默认所有的cat节点都可以作为控制台,不可配置】
消费机 - 实时接收业务数据,实时处理,提供实时分析报表【默认所有的cat节点都可以作为消费机,不可配置】
告警端 - 启动告警线程,进行规则匹配,发送告警(目前仅支持单点部署)【可以配置】
任务机 - 做一些离线的任务,合并天、周、月等报表 【可以配置】

集群配置
线上做多集群部署,假设有10.1.1.1,10.1.1.2,10.1.1.3这三台机器
建议选取一台或多台机器负责角色有控制台、告警端、任务机,例如10.1.1.1。
配置域名访问CAT,该域名关联至10.1.1.1。
10.1.1.2,10.1.1.3 负责消费机处理,这样能做到有效隔离,任务机、告警等问题不影响实时数据处理
remote-servers 这个一定要配置正确,端口号为8080,这里面的remote-servers为10.1.1.1:8080,10.1.1.2:8080,10.1.1.3:8080
完成以上步骤,重启下当前CAT节点
配置的sample如下: id="default"是默认的配置信息,server id="10.1.1.1" 如下的配置是表示10.1.1.1这台服务器的节点配置覆盖default的配置信息,比如下面的job-machine,alarm-machine,send-machine为true。

<?xml version="1.0" encoding="utf-8"?>
<server-config>
   <server id="default">
      <properties>
         <property name="local-mode" value="false"/>
         <property name="job-machine" value="false"/>
         <property name="send-machine" value="false"/>
         <property name="alarm-machine" value="false"/>
         <property name="hdfs-enabled" value="false"/>
         <property name="remote-servers" value="10.1.1.1:8080,10.1.1.2:8080,10.1.1.3:8080"/>
      </properties>
      <storage  local-base-dir="/data/appdatas/cat/bucket/" max-hdfs-storage-time="15" local-report-storage-time="7" local-logivew-storage-time="7">
        <hdfs id="logview" max-size="128M" server-uri="hdfs://10.1.77.86/" base-dir="user/cat/logview"/>
        <hdfs id="dump" max-size="128M" server-uri="hdfs://10.1.77.86/" base-dir="user/cat/dump"/>
        <hdfs id="remote" max-size="128M" server-uri="hdfs://10.1.77.86/" base-dir="user/cat/remote"/>
      </storage>
      <consumer>
         <long-config default-url-threshold="1000" default-sql-threshold="100" default-service-threshold="50">
            <domain name="cat" url-threshold="500" sql-threshold="500"/>
            <domain name="OpenPlatformWeb" url-threshold="100" sql-threshold="500"/>
         </long-config>
      </consumer>
   </server>
   <server id="10.1.1.1">
      <properties>
         <property name="job-machine" value="true"/>
         <property name="alarm-machine" value="true"/>
     <property name="send-machine" value="true"/>
      </properties>
   </server>
</server-config>

请注意:当一个机器角色更改后,请重启该机器!

server模型:代表一台机器的配置。如果id为default,代表默认配置;如果id为ip,代表该台服务器的配置

  * property local-mode : 定义服务是否为本地模式(开发模式),在生产环境时,设置为false,启动远程监听模式。默认为 false;
  * property hdfs-machine : 定义是否启用HDFS存储方式,默认为 false;
  * property job-machine : 定义当前服务是否为报告工作机(开启生成汇总报告和统计报告的任务,只需要一台服务机开启此功能),默认为 false;
  * property alarm-machine : 定义当前服务是否为报警机(开启各类报警监听,只需要一台服务机开启此功能),默认为 false;
  * property send-machine : 定义当前服务告警是否发送(当时为了解决测试环境开启告警线程,但是最后告警不通知,此配置后续会逐步去除,建议alarm-machine开启为true的时候,这个同步为true)
  
storage模型: 定义数据存储配置信息

  * property local-report-storage-time : 定义本地报告存放时长,单位为(天)
  * property local-logivew-storage-time : 定义本地日志存放时长,单位为(天)
  * property local-base-dir : 定义本地数据存储目录,此目录为上传到HDFS时所查找的源文件路径
  * property hdfs : 定义HDFS配置信息,便于直接登录系统
  * property server-uri : 定义HDFS服务地址,支持配置Nameservice
  * property console : 定义服务控制台信息
  * property remote-servers : 定义HTTP服务列表,(远程监听端同步更新服务端信息即取此值)
  * ldap : 定义LDAP配置信息(这个可以忽略)
  * ldapUrl : 定义LDAP服务地址(这个可以忽略)
步骤7: 重启不影响数据可用性

单机模式部署可略过此步骤,线上环境使用建议配置。

请在tomcat重启之前调用当前tomcat的存储数据的链接 http://${ip}:8080/cat/r/home?op=checkpoint,重启之后数据会恢复。【注意重启时间在每小时的整点10-55分钟之间】
线上部署时候,建议把此链接调用存放于tomcat的stop脚本中,这样不需要每次手工调用

客户端篇

步骤1: 客户端机器创建文件
mkdir /data
chmod -R 777 /data/
mkdir -p /data/appdatas/cat/
cd /data/appdatas/cat/
vim client.xml 

将下列配置复制到client.xml中
注意: 2280是默认的CAT服务端接受数据的端口,不允许修改,http-port是Tomcat启动的端口,默认是8080,建议使用默认端口

<?xml version="1.0" encoding="utf-8"?>
<config mode="client">
    <servers>
        <server ip="10.1.1.1" port="2280" http-port="8080"/>
        <server ip="10.1.1.2" port="2280" http-port="8080"/>
        <server ip="10.1.1.3" port="2280" http-port="8080"/>
    </servers>
</config>
步骤2: 项目配置

引入jar包

       <dependency>
          <groupId>com.dianping.cat</groupId>
            <artifactId>cat-core</artifactId>
            <version>3.0.0</version>
            <exclusions>
                <exclusion>
                    <artifactId>cat-client</artifactId>
                    <groupId>com.dianping.cat</groupId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>com.dianping.cat</groupId>
            <artifactId>cat-client</artifactId>
            <version>3.0.0</version>
        </dependency>
步骤3: 添加appkey

在resources中创建META-INF目录,在此目录下创建app.properties,在此文件写入
后面名称随意制定

app.name=com.dianping.sqldemo
步骤4: 服务端配置项目名称
image.png
步骤5: 打点上送

示例:打点Transaction、event

 @Test
    public void aaa() throws Exception {
        Transaction t = Cat.newTransaction("safsfasd", "demo");
        Cat.logEvent("dddd", "ccccc", Event.SUCCESS, "ip=${serverIp}");
        t.complete();
        Cat.logEvent("aaaaaaa", "hfkjahsfjkahds", Event.SUCCESS, "ip=${serverIp}");
        Thread.sleep(100000000); // 此处 sleep 一会, 就能保证 CAT 异步消息发送
    }

注意:单元测试打点一定要 Thread.sleep(100000000);否则打点送不上去!!!!!
具体打点规则请参考 cat客户端打点

步骤6: 登录服务端,查看打点是否上送成功
image.png
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,185评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,445评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,684评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,564评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,681评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,874评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,025评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,761评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,217评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,545评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,694评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,351评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,988评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,778评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,007评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,427评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,580评论 2 349