项目优化过程

前段时间从其他团队接过来一个级别很高的项目,就把代码给到手里,相关的其它资料为0,其它调用端还催着超时问题,问题一大堆需要紧急优化!在这就随手记一下优化过程。。。

第一阶段:了解库的内容,要了解的大约有30多个接口,相关业务,服务的日志,ng存储的地方,相关用到的环境,发布的地址等等
第二阶段:边熟悉项目边优化项目
1).项目入参控制不当,参数传到了DAO层,error日志疯狂打印——将不合理的报错一一排查解决,上线后错误日志瞬间由原来的上G变为几兆。
2).项目接口无监控,错误无报警,业务日志基本没有——添加接口监控,钉钉报警埋点,拦截器打印入参,AOP监控接口耗时给与接口超时钉钉提示等为定位问题做准备
3).业务访问高峰期接口耗时总体能达到10秒,真不知原来维护这个项目的人是怎么忍受的——
第一次优化:分析高峰期接口的调用情况,有的接口调用量会成几十倍的增加(在不知道具体调用点和调用业务的情况下还不能确定是否调用方调用合不合理),所有的接口在高峰期耗时都增加,根据这种现象先排查服务器在高峰期的cpu,load等高不高,发现监控服务相关指标并不高,则可以排除是项目服务器的性能并没有问题。由于项目并没有走缓存也基本没有和其它系统交互的地方,则可以初步怀疑数据库那层出现了问题,于是找到DBA去查数据库的问题,发现基本没有慢查询,然而通过数据库监控可以看出高峰期数据库线程数达到最大,qps也达到最大,慢sql量高峰期非常多,则让BDA帮忙给定位高峰期是不是有任务排队等待的情况,果真不假好多任务都在排队等待中,这显然高峰期的请求数据库的次数明显大于数据库的承受能力,当然这种情况一般都是先想办法降低数据库的压力,从数据库的请求量上下手解决。找到请求量剧增的那几个接口,自己去各个端的操作页面一一定位请求接口的地方,果然不出所料有个系统列表页只显示一下状态而已去调他们的后台,他们的后台系统的竟然来一条条列表来请求这个系统,而且调用的这个接口是所有的相关字段都给返回了,高峰期本来访问这个页面的量就很大,这样一条条调不紧给数据库线程增加开销,IO也会很高,于是赶紧提供批量接口只返回一个状态,推送其它端快速改成新接口上线,效果是很明显的请求量一下收了十几倍,高峰期的平均耗时降了三分之二,但是还是没有达到理想状态。
第二次优化:从其它端操作页面可以看出高峰期高频操作的那几个页面很显然有很多调用不合理的地方,为了展示几个字段但是却来并发访问这个系统好几次,但是毕竟跨端项目,改动量要好几个项目还配合于工作量上是不可能快速实现的,只能来看后台接口是否能可以有加缓存的地方,排查后几个调用量大的接口是不太好加缓存的,因为查询条件都是不固定的可选的,调用端也多,有的要求实时性有的不要求这增加了用缓存的难度,最后决定找DBA增加两个从库来分担查询的压力,果不其然高峰期访问数据库耗时长问题解决了,每个数据库服务压力趋于正常了。
4)优化相关功能点,接口偶尔耗时高问题,有个接口在调第三方翻译时接口耗时比较高,因为客户端仅限制调接口超时时间为300ms,但此接口仅调第三方平均耗时就在1s左右,至此每次都超时客户端很难第一次打开报告页——解决方案是将在保存数据的时候触发消息,接收消息去异步翻译存储,查询接口得到解决。
5).敏感字问题——因有敏感字遭到有用户投诉是很大的一个问题,于是找过滤敏感字项目的负责人要相关接口,但是敏感是过滤这个接口并没有在线上真实用过,无法预知准确率,如果错误率太高根本没有人力去跟这个事情,于是我将线上数据说不导下来,用作测试用户来一遍遍支持这个过滤敏感字项目的人迭代优化接近想要的结果最终上线。
6).其它小功能的优化,数据源引入方式的修改等等。。。

在今天项目总算能正常运行了,最大的高峰超时问题已解决,各种接口监控,报警,业务重要日志添加上等。。。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,948评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,371评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,490评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,521评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,627评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,842评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,997评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,741评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,203评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,534评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,673评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,339评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,955评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,770评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,000评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,394评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,562评论 2 349

推荐阅读更多精彩内容