2021-04-08

秒杀 //www.greatytc.com/p/f7bc11a95e8a

https://www.kyjszj.com/htzq/2072.html

列表页优化

https://juejin.cn/post/6844903702545825805

1、组合key解决方案

2、sql exixt

3、对于扩展表字段的查询,只支持or操作,但不支持and操作

如何提高用户留存率

提高用户粘性

Cms

活动表

以uid为维度分表

Case1 方便查询某个用户开的活动

case2 查询某个用户的历史活动

流水记录表

以activityId为维度分表

Case1 查询某个活动的任务流水记录

任务表

数据分析模块

1、以活动为维度

查询这个活动

按天维度团的增量、用户的增量

Case1存在跨表查询

2、以个人为维度,查他参与了哪些活动

Case2存在跨表查询

Soa模块

接口

1 开团接口


   日常20qps

   凌晨1000qps

   618/双11 5000qps


   团100万

   任务流水300万

   每月拉新  2万

2 做任务接口

    助力任务

    签到任务

    下单任务

    分享任务

    浏览会场任务


3 历史数据查询

   团表:以用户的维护进行hash分表

   方便查用户的团数据


4 分析型

   同步到数据集市



    重难点梳理

    1、rpc接口版本升级问题


    现状


    对于同名方法,在蓝绿发布市可能存在问题

    我们可以查看实质上通过netty等方式传输之后在provider可以获得一个对应的DecodeableRpcInvocation这样就回到了包装前的invoker


    消费端


    配置invoker.listener参数

    在refer完时,发起check检查,

    检查provider是否存在该方法

    Attanment:加上test

    提供端

    如果包含test,则直接return

    通过filter扩展实现

2分组调用case

    消费端

    指定group

    将group作为一个参数

 3、rpc超时  数据补偿


       默认是fix,200线程队列容量为1

       EagerThreadPoolExecutor适用场景,避免task阻塞在队列里等待,优先创建线程


       3.1监控看的是task在线程池里面执行的时间,无法查看在队列里面等待的时间

       发生的场景






4限流

  客户端限流

  ActiveLimitFilter 

  限制客户端并行度service或者method维度


   针对服务端,没有提供app维度

   全局维度TpsLimitFilter

   ExecuteLimitFilter

   限制服务端并行度service或者method维度


   tps

    限流相关问题

 4.1、计数器算法

         描述:周期内达到指定次数,则触发限流。下一个周期,进行清零,重新开始。

         问题:无法触发临界问题

 4.2、滑动窗口算法

         描述:将时间周期划分n个小周期,分别记录每个小周期内访问次数,根据时间滑动删除小周期

                    窗口滑动的过程中,存在旧的窗口出队,新的窗口入队

                    优点:

                    可以很好的处理临界尖峰问题。

         问题:

4.3、漏桶算法

      描述:请求放入桶中的速度不做限制,如果桶满了,则触发限流。

                  放行的速率是固定的,通过这种方式,达到限流的目的。

4.4、令牌桶

      好处:限制请求的速度,小于或者等于令牌的生产速度,从而达到限流的目的

5 消费端线程池模型优化

    原来cache线程

    将序列化与反序列化、io解码与反解码放在业务线程,避免阻塞io线程,导致大量创建io线程

6大key优化

7 key的失效机制

8 缓存穿透

    缓存和数据库都没有数据,导致数据压力过大

     防止暴力攻击

9 缓存击穿

    是指一点热点的key, 不停的抗大并发,某一时间失效,导致大量请求访问数据库

    缓存没有数据,但是数据库有数据

10 缓存雪崩

     大量数据过期,且查询量过大,引起数据库压力过大

11 缓存预热


12 

    缓存不一致问题

    更新数据库,

    1)删除缓存

    2)更新缓存

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,639评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,277评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,221评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,474评论 1 283
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,570评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,816评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,957评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,718评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,176评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,511评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,646评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,322评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,934评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,755评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,987评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,358评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,514评论 2 348

推荐阅读更多精彩内容

  • 1.叙述测试流程 产品提出需求后,召开立项会谈论需求制定需求文档,开发根据文档进行软件编码,测试人员根据文档制定测...
    嘿_叫我小王阅读 91评论 0 0
  • 项目介绍 项目问题 Q1:用户鉴权、认证流程? Q2:OAuth2是否了解 ? Oauth实质:OAuth 就是一...
    小谢小谢不吃宵夜阅读 186评论 0 0
  • AI守望者为您推送今日科技资讯简报: 1.物理学恐被颠覆:科学家在「最后的尝试」中发现未知粒子存在的证据[http...
    烛之文阅读 477评论 0 0
  • 夜莺2517阅读 127,717评论 1 9
  • 版本:ios 1.2.1 亮点: 1.app角标可以实时更新天气温度或选择空气质量,建议处女座就不要选了,不然老想...
    我就是沉沉阅读 6,883评论 1 6