网络配置系统简介

• 网络配置系统是一个为美团点评公司的各类App提供的一个针对网络配置下发的管理系统
• 目前已对接包括点评app，美团主app，美团外卖等10多款app，系统高峰qps超过2w(最近由于美团app问题，qps超过5w)，每日调用量约10亿次

系统存在的问题

• 在管理段对于任何app中的网络配置做修改都直接更新到redis中，服务端读取同一份redis，若配置出错，直接会导致线上问题
• 配置内容中存在大量需要设定类型的配置，比如要求实际的值下发为 int, bool, list 等，新增配置导致代码修改
• 无法提供线上测试功能，新增配置不易验证

系统数据流图--改造前

数据流-改造前

系统数据流图--改造后

数据流-改造后

页面改造前

页面改造前

页面改造后

页面优化后

内置类型支持

修改过程控制

数据结构-改造前

public class NTCache implements Serializable {

public NTCache() {}

@NTRecord(key = "nt.interval")
private int interval;              
@NTRecord(key = "nt.defaulttunnel")
private String defaulttunnel;     

private List<TunnelListItem> tunnelList;

@NTRecord(key = "nt.preblacklist.urlscheme", type = "urlscheme")
private List<PreBlackListItem> preblacklistUrlscheme;     
@NTRecord(key = "nt.preblacklist.contenttype", type = "contenttype")
private List<PreBlackListItem> preblacklistContenttype;   

private List<PreBlackListItem> preblacklist;   

@NTRecord(key = "whitehosts", area = NTArea.APPLOCAL)
private List<String> whitehosts;                          

@NTRecord(key = "specialList.wns", area = NTArea.APPLOCAL, type = "wns")
private List<SpecialListItem> specialListWNS;             
@NTRecord(key = "specialList.cip", area = NTArea.APPLOCAL, type = "cip")
private List<SpecialListItem> specialListCIP;             
@NTRecord(key = "specialList.http", area = NTArea.APPLOCAL, type = "http")
private List<SpecialListItem> specialListHTTP;            

private List<SpecialListItem> specialList;                

@NTRecord(key = "timeout.wns.2G", type = "2G")
private int timeoutWNS2G;               
@NTRecord(key = "timeout.wns.other", type = "other")
private int timeoutWNSOther;            
@NTRecord(key = "timeout.cip.2G", type = "2G")
private int timeoutCIP2G;               
@NTRecord(key = "timeout.cip.other", type = "other")
private int timeoutCIPOther;            
@NTRecord(key = "timeout.cip.udphold.2G", type = "2G")
private int timeoutCIPUdphold2G;        
@NTRecord(key = "timeout.cip.udphold.other", type = "other")
private int timeoutCIPUdpholdOther;     
@NTRecord(key = "timeout.cip.httphold.2G", type = "2G")
private int timeoutCIPHttphold2G;       
@NTRecord(key = "timeout.cip.httphold.2G.other", type = "other")
private int timeoutCIPHttpholdOther;    
@NTRecord(key = "timeout.http.2G", type = "2G")
private int timeoutHTTP2G;              
@NTRecord(key = "timeout.http.other", type = "other")
private int timeoutHTTPOther;           

private List<ExtraListItem> extraList;

}

数据结构-改造后

@Data
public class ConfigCache implements Serializable, Comparable<ConfigCache> {
    private String key;

    private Object value;  //数据已经过转型，为string/integer/boolean/list

    private String platform;  // all/android/ios

    private String sdkVersion;  

    private String beginVersion;  //app begin version

    private String endVersion;  // app end version

    private int orderNo;

    private List<CityRange> cityRanges;  
}

@Data
public class AppConfigCache implements Serializable {
    /**
     * 全局和特定APP
     */
    private List<ConfigCache> tunnel;

    /**
     * 全局和特定APP
     */
    private List<ConfigCache> others;

    /**
     * 全局filter, 特定APP specialList
     */
    private List<ConfigCache> filterOrSpecialList;

    /**
     * 全局timeout, 特定APP hosts
     */
    private List<ConfigCache> timeOutOrHosts;
}

@Getter
@Setter
public class AppConfigVersionCache implements Serializable {
    private AppConfigCache cache;

    private int version;
}

新旧数据分发过程对比

• 旧的数据在内存中做了缓存，缓存结构如上述NTCache, 每次请求时都会使用反射对NTCache 做处理，同时对某些数据做类型转换，然后根据条件做匹配与排序之后得到配置数据
• 新的数据处理过程，同样采用内存缓存，但数据已经过预处理（类型转换与排序），只需要做简单的匹配即得到配置数据

改造成果

• 流程改造，加入配置内容的审核，可撤销未提交的修改
• 前端改造，内置增加类型支持，新增配置轻松搞定，页面视觉优化
• 系统单机压测 qps 超过15000(rpc service, 4核4G虚拟机, 99%请求延时在6ms以内)

作者感悟

• 对于任何问题，选用合适的数据结构解决合适的问题，这样不但可以降低编写代码的复杂度，同时还可以降低代码的维护成本。
• 程序= 数据结构 + 算法 ， 俩手都要抓