//www.greatytc.com/p/96c3232b9d7e
序——之前一直在美团内部使用cat,十分便捷,这次单位内部要使用,拿来研究一番。其实Cat在GitHub上的部署文档已经比较详细了
服务端篇
一、准备环境
tomcat
mysql
jdk8
美团cat源码包cat源码
二、开整
步骤1: 服务器创建目录
mkdir/datachmod-R777/data/mkdir-p/data/appdatas/cat/
步骤2: 服务器创建文件
cd /data/appdatas/cat/vim client.xml
将下列配置复制到client.xml中
注意: 2280是默认的CAT服务端接受数据的端口,不允许修改,http-port是Tomcat启动的端口,默认是8080,建议使用默认端口
<?xml version="1.0" encoding="utf-8"?><configmode="client"><servers><serverip="10.1.1.1"port="2280"http-port="8080"/><serverip="10.1.1.2"port="2280"http-port="8080"/><serverip="10.1.1.3"port="2280"http-port="8080"/></servers></config>
vim datasources.xml
将下列配置复制到datasources.xml中,注意修改自己的地址
集群模式每台CAT集群10.1.1.1,10.1.1.2,10.1.1.3都需要部署此文件
<?xml version="1.0" encoding="utf-8"?><data-sources><data-sourceid="cat"><maximum-pool-size>3</maximum-pool-size><connection-timeout>1s</connection-timeout><idle-timeout>10m</idle-timeout><statement-cache-size>1000</statement-cache-size><properties><driver>com.mysql.jdbc.Driver</driver><url><![CDATA[jdbc:mysql://127.0.0.1:3306/cat]]></url><!-- 请替换为真实数据库URL及Port --><user>root</user><!-- 请替换为真实数据库用户名 --><password>root</password><!-- 请替换为真实数据库密码 --><connectionProperties><![CDATA[useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&socketTimeout=120000]]></connectionProperties></properties></data-source></data-sources>
步骤3:数据库配置
创建cat数据库
注意1:一套独立的CAT集群只需要一个数据库(之前碰到过个别同学在每台cat的服务端节点都安装了一个数据库)
注意2:数据库编码使用utf8mb4,否则可能造成中文乱码等问题
create database cat charset utf8mb4 collate utf8mb4_general_ci;
刷入表信息cat建表语句
步骤4:打war包
源码打包
在cat的源码目录,执行mvn clean install -DskipTests
war包下载官方war包下载
注意: 打出来的jar包重命名为cat.war进行部署,此war是用jdk8,服务端请使用jdk8版本
步骤5:war包部署
将war包扔到10.1.1.1的tomcat的webapps目录下,启动tomcat即可
访问http://10.1.1.1:8080/cat/s/config?op=routerConfigUpdate
默认用户名:admin
默认密码:admin
继续将war包扔到10.1.1.2,10.1.1.3中,启动tomcat
步骤6:服务器配置
配置链接:http://{ip:port}/cat/s/config?op=serverConfigUpdate
说明:这个只需要更新一次,配置是保存在mysql的数据库里面。
CAT节点职责
控制台 - 提供给业务人员进行数据查看【默认所有的cat节点都可以作为控制台,不可配置】
消费机 - 实时接收业务数据,实时处理,提供实时分析报表【默认所有的cat节点都可以作为消费机,不可配置】
告警端 - 启动告警线程,进行规则匹配,发送告警(目前仅支持单点部署)【可以配置】
任务机 - 做一些离线的任务,合并天、周、月等报表 【可以配置】
集群配置
线上做多集群部署,假设有10.1.1.1,10.1.1.2,10.1.1.3这三台机器
建议选取一台或多台机器负责角色有控制台、告警端、任务机,例如10.1.1.1。
配置域名访问CAT,该域名关联至10.1.1.1。
10.1.1.2,10.1.1.3 负责消费机处理,这样能做到有效隔离,任务机、告警等问题不影响实时数据处理
remote-servers 这个一定要配置正确,端口号为8080,这里面的remote-servers为10.1.1.1:8080,10.1.1.2:8080,10.1.1.3:8080
完成以上步骤,重启下当前CAT节点
配置的sample如下: id="default"是默认的配置信息,server id="10.1.1.1" 如下的配置是表示10.1.1.1这台服务器的节点配置覆盖default的配置信息,比如下面的job-machine,alarm-machine,send-machine为true。
<?xml version="1.0" encoding="utf-8"?><server-config><serverid="default"><properties><propertyname="local-mode"value="false"/><propertyname="job-machine"value="false"/><propertyname="send-machine"value="false"/><propertyname="alarm-machine"value="false"/><propertyname="hdfs-enabled"value="false"/><propertyname="remote-servers"value="10.1.1.1:8080,10.1.1.2:8080,10.1.1.3:8080"/></properties><storagelocal-base-dir="/data/appdatas/cat/bucket/"max-hdfs-storage-time="15"local-report-storage-time="7"local-logivew-storage-time="7"><hdfsid="logview"max-size="128M"server-uri="hdfs://10.1.77.86/"base-dir="user/cat/logview"/><hdfsid="dump"max-size="128M"server-uri="hdfs://10.1.77.86/"base-dir="user/cat/dump"/><hdfsid="remote"max-size="128M"server-uri="hdfs://10.1.77.86/"base-dir="user/cat/remote"/></storage><consumer><long-configdefault-url-threshold="1000"default-sql-threshold="100"default-service-threshold="50"><domainname="cat"url-threshold="500"sql-threshold="500"/><domainname="OpenPlatformWeb"url-threshold="100"sql-threshold="500"/></long-config></consumer></server><serverid="10.1.1.1"><properties><propertyname="job-machine"value="true"/><propertyname="alarm-machine"value="true"/><propertyname="send-machine"value="true"/></properties></server></server-config>
请注意:当一个机器角色更改后,请重启该机器!
server模型:代表一台机器的配置。如果id为default,代表默认配置;如果id为ip,代表该台服务器的配置 * property local-mode : 定义服务是否为本地模式(开发模式),在生产环境时,设置为false,启动远程监听模式。默认为 false; * property hdfs-machine : 定义是否启用HDFS存储方式,默认为 false; * property job-machine : 定义当前服务是否为报告工作机(开启生成汇总报告和统计报告的任务,只需要一台服务机开启此功能),默认为 false; * property alarm-machine : 定义当前服务是否为报警机(开启各类报警监听,只需要一台服务机开启此功能),默认为 false; * property send-machine : 定义当前服务告警是否发送(当时为了解决测试环境开启告警线程,但是最后告警不通知,此配置后续会逐步去除,建议alarm-machine开启为true的时候,这个同步为true) storage模型: 定义数据存储配置信息 * property local-report-storage-time : 定义本地报告存放时长,单位为(天) * property local-logivew-storage-time : 定义本地日志存放时长,单位为(天) * property local-base-dir : 定义本地数据存储目录,此目录为上传到HDFS时所查找的源文件路径 * property hdfs : 定义HDFS配置信息,便于直接登录系统 * property server-uri : 定义HDFS服务地址,支持配置Nameservice * property console : 定义服务控制台信息 * property remote-servers : 定义HTTP服务列表,(远程监听端同步更新服务端信息即取此值) * ldap : 定义LDAP配置信息(这个可以忽略) * ldapUrl : 定义LDAP服务地址(这个可以忽略)
步骤7: 重启不影响数据可用性
单机模式部署可略过此步骤,线上环境使用建议配置。
请在tomcat重启之前调用当前tomcat的存储数据的链接 http://${ip}:8080/cat/r/home?op=checkpoint,重启之后数据会恢复。【注意重启时间在每小时的整点10-55分钟之间】
线上部署时候,建议把此链接调用存放于tomcat的stop脚本中,这样不需要每次手工调用
客户端篇
步骤1: 客户端机器创建文件
mkdir/datachmod-R777/data/mkdir-p/data/appdatas/cat/cd/data/appdatas/cat/vim client.xml
将下列配置复制到client.xml中
注意: 2280是默认的CAT服务端接受数据的端口,不允许修改,http-port是Tomcat启动的端口,默认是8080,建议使用默认端口
<?xml version="1.0" encoding="utf-8"?><configmode="client"><servers><serverip="10.1.1.1"port="2280"http-port="8080"/><serverip="10.1.1.2"port="2280"http-port="8080"/><serverip="10.1.1.3"port="2280"http-port="8080"/></servers></config>
步骤2: 项目配置
引入jar包
<dependency><groupId>com.dianping.cat</groupId><artifactId>cat-core</artifactId><version>3.0.0</version><exclusions><exclusion><artifactId>cat-client</artifactId><groupId>com.dianping.cat</groupId></exclusion></exclusions></dependency><dependency><groupId>com.dianping.cat</groupId><artifactId>cat-client</artifactId><version>3.0.0</version></dependency>
步骤3: 添加appkey
在resources中创建META-INF目录,在此目录下创建app.properties,在此文件写入
后面名称随意制定
app.name=com.dianping.sqldemo
步骤4: 服务端配置项目名称
image.png
步骤5: 打点上送
示例:打点Transaction、event
@Testpublicvoidaaa()throwsException{Transactiont=Cat.newTransaction("safsfasd","demo");Cat.logEvent("dddd","ccccc",Event.SUCCESS,"ip=${serverIp}");t.complete();Cat.logEvent("aaaaaaa","hfkjahsfjkahds",Event.SUCCESS,"ip=${serverIp}");Thread.sleep(100000000);// 此处 sleep 一会, 就能保证 CAT 异步消息发送}
注意:单元测试打点一定要 Thread.sleep(100000000);否则打点送不上去!!!!!
具体打点规则请参考cat客户端打点
步骤6: 登录服务端,查看打点是否上送成功
image.png
作者:枫之鬼影
链接://www.greatytc.com/p/96c3232b9d7e
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。