.前言
1.什么是APM?
APM（Application Performance Management & Monitoring）是应用性能管理,在信息科学和系统控制领域，APM致力于监控和管理应用软件性能和可用性。通过监测和诊断复杂应用程序的性能问题，来保证软件应用程序的良好运行(预期的服务)。
2.为什么要使用APM?
http://m.sohu.com/a/159033824_733939
.APM(网络监控方面)->XYYNetWorkMonitor
架构图
1.网络相关知识
请求信息
响应信息
我们所需要监控的就是请求信息和响应信息
2.实现
项目结构
XYYUtil：公共类
XYYCore: 配置相关的类
XYYDatabase：数据库
XYYCache: 缓存类
XYYAOP:网络监控实现类
这里我是用hook的方式对请求进行注入处理
通过方法交换换的方式(黑魔法)对请求信息根据自己的需求来做相应的处理
在搜集网络信息的时候我们需要注意
记录 Response 信息
需要说明的是，如果需要获得非常精准的流量，一般来说只有通过 Socket 层获取是最准确的，因为可以获取包括握手、挥手的数据大小。当然，我们的目的是为了分析 App 的耗流量 API，所以仅从应用层去分析也基本满足了我们的需要。
上文中说到了报文的组成，那么按照报文所需要的内容获取。
非常遗憾的是 NSURLResponse 没有接口能直接获取报文中的 Status Line，甚至连 HTTP Version 等组成 Status Line 内容的接口也没有。
最后，我通过转换到 CFNetwork 相关类，才拿到了 Status Line 的数据，这其中可能涉及到了读取私有 API
```
- (NSUInteger)statusLineSize {
NSURLResponse*response =self;
NSString*statusLine =@"";
// 获取CFURLResponseGetHTTPResponse的函数实现
NSString *funName = @"CFURLResponseGetHTTPResponse";
NMResponseGetHTTPResponseoriginURLResponseGetHTTPResponse =
dlsym(RTLD_DEFAULT, [funNameUTF8String]);
SELtheSelector =NSSelectorFromString(@"_CFURLResponse");
if([responserespondsToSelector:theSelector] &&
NULL!= originURLResponseGetHTTPResponse) {
// 获取NSURLResponse的_CFURLResponse
CFTypeRefcfResponse =CFBridgingRetain([responseperformSelector:theSelector]);
if(NULL!= cfResponse) {
// 将CFURLResponseRef转化为CFHTTPMessageRef
CFHTTPMessageRefmessageRef = originURLResponseGetHTTPResponse(cfResponse);
statusLine = (__bridge_transferNSString*)CFHTTPMessageCopyResponseStatusLine(messageRef);
CFRelease(cfResponse);
}
}
NSData *lineData = [statusLine dataUsingEncoding:NSUTF8StringEncoding];
returnlineData.length;
}
```
通过调用私有 API _CFURLResponse 获得 CFTypeRef 再转换成 CFHTTPMessageRef，获取 Status Line。
再将其转换成 NSData 计算字节大小：
通过 httpResponse.allHeaderFields 拿到 Header 字典，再拼接成报文的 key: value 格式，转换成 NSData 计算大小：
```
- (NSUInteger)headerSize {
NSUIntegerheadersLength =0;
if ([self isKindOfClass:[NSHTTPURLResponse class]]) {
NSHTTPURLResponse *httpResponse = (NSHTTPURLResponse *)self;
NSDictionary *headerFields = httpResponse.allHeaderFields;
NSString*headerStr =@"";
for(NSString*keyinheaderFields.allKeys) {
headerStr = [headerStrstringByAppendingString:key];
headerStr = [headerStrstringByAppendingString:@": "];
if([headerFieldsobjectForKey:key]) {
headerStr = [headerStrstringByAppendingString:headerFields[key]];
}
headerStr = [headerStrstringByAppendingString:@"\n"];
}
NSData *headerData = [headerStr dataUsingEncoding:NSUTF8StringEncoding];
headersLength = headerData.length;
}
return headersLength;
}
```
对于 Body 的计算，上文看到有些文章里采用的 expectedContentLength 或者去 NSURLResponse 对象的 allHeaderFields 中获取 Content-Length 值，其实都不够准确。
首先 API 文档中对 expectedContentLength 也有介绍是不准确的：
其次，HTTP 1.1 标准里也有介绍 Content-Length 字段不一定是每个 Response 都带有的，最重要的是，Content-Length 只是表示 Body 部分的大小。
我的方式是，在前面代码中有写到，在 didReceiveData 中对 data 进行了缓存
记录 Resquest 信息
很遗憾，对于NSURLRequest 我没有像 NSURLReponse 一样幸运的找到私有接口将其转换成 CFNetwork 相关数据，但是我们很清楚 HTTP 请求报文 Line 部分的组成，所以我们可以添加一个方法，获取一个经验 Line。
同样为 NSURLReques 添加一个扩展：NSURLRequest+NM
```
- (NSUInteger)statusLineSize {
NSString *lineStr = [NSString stringWithFormat:@"%@ %@ %@\n", self.HTTPMethod, self.URL.path, @"HTTP/1.1"];
NSData *lineData = [lineStr dataUsingEncoding:NSUTF8StringEncoding];
return lineData.length;
}
```
Header 这里有一个非常大的坑。
request.allHTTPHeaderFields 拿到的头部数据是有很多缺失的，这块跟业内朋友交流的时候，发现很多人都没有留意到这个问题。
缺失的部分不仅仅是上面一篇文章中说到的 Cookie。
如果通过 Charles 抓包，可以看到，会缺失包括但不仅限于以下字段：
Accept
Connection
Host
这个问题非常的迷，同时由于无法转换到 CFNetwork 层，所以一直拿不到准确的 Header 数据。
最后，我在 so 上也找到了两个相关问题，供大家参考
NSUrlRequest: where an app can find the default headers for HTTP request?
NSMutableURLRequest, cant access all request headers sent out from within my iPhone program
两个问题的回答基本表明了，如果你是通过 CFNetwork 来发起请求的，才可以拿到完整的 Header 数据。
所以这块只能拿到大部分的 Header，但是基本上缺失的都固定是那几个字段，对我们流量统计的精确度影响不是很大。
那么主要就针对 cookie 部分进行补全：
```
- (NSUInteger)headerSize {
NSUIntegerheadersLength =0;
NSDictionary<NSString *, NSString *> *headerFields = self.allHTTPHeaderFields;
NSDictionary *cookiesHeader = [selfdgm_getCookies];
// 添加 cookie 信息
if(cookiesHeader.count) {
NSMutableDictionary*headerFieldsWithCookies = [NSMutableDictionary dictionaryWithDictionary:headerFields];
[headerFieldsWithCookies addEntriesFromDictionary:cookiesHeader];
headerFields = [headerFieldsWithCookies copy];
}
NSString*headerStr =@"";
for(NSString*keyinheaderFields.allKeys) {
headerStr = [headerStr stringByAppendingString:key];
headerStr = [headerStr stringByAppendingString:@": "];
if([headerFields objectForKey:key]) {
headerStr = [headerStr stringByAppendingString:headerFields[key]];
}
headerStr = [headerStr stringByAppendingString:@"\n"];
}
NSData *headerData = [headerStr dataUsingEncoding:NSUTF8StringEncoding];
headersLength = headerData.length;
//一般header中字段会比统计到的多，+180作为数据补充
return headersLength +180;
}
```
```
- (NSDictionary *)dgm_getCookies {
NSDictionary<NSString *, NSString *> *cookiesHeader;
if(!self.URL) {
return nil;
}
NSHTTPCookieStorage *cookieStorage = [NSHTTPCookieStorage sharedHTTPCookieStorage];
NSArray *cookies = [cookieStorage cookiesForURL:self.URL];
if(cookies.count) {
cookiesHeader = [NSHTTPCookie requestHeaderFieldsWithCookies:cookies];
}
return cookiesHeader;
}
```
最后是 body 部分，这里也有个坑。通过 NSURLConnection 发出的网络请求 resquest.HTTPBody 拿到的是 nil。
需要转而通过 HTTPBodyStream 读取 stream 来获取 request 的 Body 大小。
-
```
- (NSUInteger)bodySize {
NSDictionary<NSString *, NSString *> *headerFields = self.allHTTPHeaderFields;
NSUInteger bodyLength = [self.HTTPBody length];
if([headerFields objectForKey:@"Content-Encoding"]) {
NSData*bodyData;
if(self.HTTPBody==nil) {
uint8_td[1024] = {0};
NSInputStream *stream = self.HTTPBodyStream;
NSMutableData*data = [[NSMutableData alloc]init];
[streamopen];
while([stream hasBytesAvailable]) {
NSInteger len = [stream read:d maxLength:1024];
if(len >0&& stream.streamError==nil) {
[data appendBytes:(void*)d length: len];
}
}
bodyData = [datacopy];
[streamclose];
}else{
bodyData =self.HTTPBody;
}
bodyLength = [[bodyDatagzippedData]length];
}
return bodyLength;
}
```
当然，还有NSConnection的获取方式，实现方式差不多， 由于当前网络请求都是NSURLSession,所以代码就不贴出来了
当请求网络时就会调用以下方法（ios10之后）在此方法里记录网络相关信息
```
- (void)URLSession:(NSURLSession*)session task:(NSURLSessionTask*)task didFinishCollectingMetrics:(NSURLSessionTaskMetrics*)metrics API_AVAILABLE(ios(10.0)){
EELog(@"-------->start<--------");
if (![XYYUtil isNetworkMonitorOn]) {
return;
}
if(@available(iOS10.0, *)) {
NSURLSessionTaskTransactionMetrics *metric = [metrics.transactionMetrics lastObject];
NSString *traceId = metric.request.allHTTPHeaderFields[HEAD_KEY_EETRACEID];
if(!traceId) {
EELog(@"-------->over<--------");
return;
}
if(metric) {
//请求开始时间
NSString*sreq = [NSStringstringWithFormat:@"%.f", [metric.fetchStartDatetimeIntervalSince1970] *1000];
[[XYYCachesharedXYYCache]cacheValue:sreqkey:XYYDATA_KEY_STARTREQUESTtraceId:traceId];
//域名解析时间
NSString *dnst = [NSString stringWithFormat:@"%.f", [metric.domainLookupEndDate timeIntervalSinceDate:metric.domainLookupStartDate] * 1000];
[[XYYCachesharedXYYCache]cacheValue:dnstkey:XYYDATA_KEY_DNSTIMEtraceId:traceId];
//连接建立时间
NSString*cnnt = [NSStringstringWithFormat:@"%.f", [metric.connectEndDatetimeIntervalSinceDate:metric.connectStartDate] *1000];
[[XYYCachesharedXYYCache]cacheValue:cnntkey:XYYDATA_KEY_CONNTIMEtraceId:traceId];
//https ssl验证时间
NSString *sslt = [NSString stringWithFormat:@"%.f", [metric.secureConnectionEndDate timeIntervalSinceDate:metric.secureConnectionStartDate] * 1000];
[[XYYCachesharedXYYCache]cacheValue:ssltkey:XYYDATA_KEY_SSLTIMEtraceId:traceId];
//从客户端发送HTTP请求到服务器所耗费的时间
NSString*sdt = [NSStringstringWithFormat:@"%.f", [metric.requestEndDatetimeIntervalSinceDate:metric.requestStartDate] *1000];
[[XYYCache sharedXYYCache] cacheValue:sdt key:XYYDATA_KEY_SENDTIME traceId:traceId];
//响应报文首字节到达时间
NSString*wtt = [NSStringstringWithFormat:@"%.f", [metric.responseStartDatetimeIntervalSinceDate:metric.requestEndDate] *1000];
[[XYYCache sharedXYYCache] cacheValue:wtt key:XYYDATA_KEY_WAITTIME traceId:traceId];
//客户端从开始接收数据到接收完所有数据的时间
NSString*rcvt = [NSStringstringWithFormat:@"%.f", [metric.responseEndDatetimeIntervalSinceDate:metric.responseStartDate] *1000];
[[XYYCachesharedXYYCache]cacheValue:rcvtkey:XYYDATA_KEY_RECEIVETIMEtraceId:traceId];
//请求结束时间
NSString*eres = [NSStringstringWithFormat:@"%.f", [metric.responseEndDatetimeIntervalSince1970] *1000];
[[XYYCachesharedXYYCache]cacheValue:ereskey:XYYDATA_KEY_ENDRESPONSEtraceId:traceId];
//网络请求总时间
NSString*ttt = [NSStringstringWithFormat:@"%.f", [metrics.taskIntervalduration] *1000];
[[XYYCache sharedXYYCache] cacheValue:ttt key:XYYDATA_KEY_TOTALTIME traceId:traceId];
}
}else{
// Fallback on earlier versions
}
EELog(@"-------->over<--------");
}
```
到此，一个基本满足需求的网络监控基本完成
.接入方式
我将此模块封装成framework的方式供使用者接入
在delegate里导入#import <XYYPerformanceCenter/NetworkMonitor>
在didFinishLaunchingWithOptions里加入以下代码
```
XYYConfig *config = [[XYYConfig alloc] init];
config.enableNetworkMonitor = NO;
config.enableLog=NO;
config.enableInterferenceMode = NO;
config.reportTimeInterval = 10;
config.urlWhiteList = @[@"http://192.168.164.1/monitor/net",@"http://captive.apple.com/"];
[[XYYManager sharedXYYManager] initConfig:config];
[[XYYManager sharedXYYManager] start];
```
如果出现image not found 的错误时需要
