前言
用户在月初发来了一个反馈工单,说是我们app的流量在7号之前就用了6个多G的流量,并且附上了手机自带流量消耗占比的图片。这让我们很纳闷,我们app也不过是请求几个接口,获取一下定位的一些信息,怎么会消耗那么多流量呢?查看了埋点记录,发现了用户在请求线路信息的接口,最高的1秒中请求了4次。这个为了经常更新线路公交的状态,我们只加了15秒的定时器去请求。可是为什么会请求这么频繁呢?
经过一些列的代码查找,后来发现在写侧边栏,显示线路上公交信息的时候,只有创建定时器的,没有去销毁定时器,所以导致定时器在指数的去刷新线路上公交信息的接口。这也幸亏后台做了一部分拦截,不然,想想都觉得恐怖,指数性的去请求接口。
于是由这个问题的反思,应该往代码去监听统计一下自己app的流量的消耗。
准备
查看了一些博客以及github的文章,很多都是通过监听手机的流量消耗的,自己app的流量的消耗却没有多少,于是借鉴了一些博客和github的文章。
以下为一些参考的文章和库:
4、iOS 开发中使用 NSURLProtocol 拦截 HTTP 请求
但以上这些资料对我们的需求都有不足之处:
1. Request 和 Response 记在同一条记录
在实际的网络请求中 Request 和 Response 不一定是成对的,如果网络断开、或者突然关闭进程,都会导致不成对现象,如果将 Request 和 Response 记录在同一条数据,将会对统计造成偏差
2. 上行流量记录不精准
主要的原因有三大类:
直接忽略了 Header 和 Line 部分还有Query部分
忽略了 Cookie 部分,实际上,臃肿的 Cookie 也是消耗流量的一部分
body 部分的字节大小计算直接使用了HTTPBody.length不够准确
3. 下行流量记录不精准
主要原因有:
直接忽略了 Header 和 Status-Line 部分
body 部分的字节大小计算直接使用了expectedContentLength不够准确
忽略了 gzip 压缩,在实际网络编程中,往往都使用了 gzip 来进行数据压缩,而系统提供的一些监听方法,返回的 NSData 实际是解压过的,如果直接统计字节数会造成大量偏差
后文将详细讲述。
开始自己上代码
首先我们得了解网络请求具体都有哪些内容,从而方便的去监听这些数据来统计。
从上图可以看出,主要是两块,请求报文和响应报文。(也是就大家熟知的NSURLRequest和NSURLResponse)
既然如此,那就来两张抓包的数据图,来看一下:
接下来咱们就具体分析以下request和response吧
这块我采用的大家耳熟能详的NSURLProtocol,NSURLProtocol方式除了通过 CFNetwork 发出的网络请求,全部都可以拦截到。
Apple 文档中对NSURLProtocol有非常详细的描述和使用介绍
An abstract class that handles the loading of protocol-specific URL data.
如果想更详细的了解NSURLProtocol,也可以看大佐的这篇文章
在每一个 HTTP 请求开始时,URL 加载系统创建一个合适的NSURLProtocol对象处理对应的 URL 请求,而我们需要做的就是写一个继承自NSURLProtocol的类,并通过- registerClass:方法注册我们的协议类,然后 URL 加载系统就会在请求发出时使用我们创建的协议对象对该请求进行处理。
NSURLProtocol是一个抽象类,需要做的第一步就是集成它,完成我们的自定义设置。
创建自己的CLLURLProtocol,为它添加几个属性并实现相关接口:
@interface CLLURLProtocol() <NSURLConnectionDelegate, NSURLConnectionDataDelegate>
@property (nonatomic, strong) NSURLConnection *connection;
@property (nonatomic, strong) NSURLRequest *cll_request;
@property (nonatomic, strong) NSURLResponse *cll_response;
@property (nonatomic, strong) NSMutableData *cll_data;
@end
canInitWithRequest & canonicalRequestForRequest:
static NSString *const CLLHTTP = @"CLLHTTP";
+ (BOOL)canInitWithRequest:(NSURLRequest*)request {
if (![request.URL.scheme isEqualToString:@"http"]) {
returnNO;
}
// 拦截过的不再拦截
if([NSURLProtocolpropertyForKey:CLLHTTPinRequest:request] ) {
returnNO;
}
return YES;
}
+ (NSURLRequest *)canonicalRequestForRequest:(NSURLRequest *)request {
NSMutableURLRequest*mutableReqeust = [requestmutableCopy];
[NSURLProtocol setProperty:@YES
forKey:CLLHTTP
inRequest:mutableReqeust];
return[mutableReqeustcopy];
}
startLoading:
- (void)startLoading {
NSURLRequest *request = [[self class] canonicalRequestForRequest:self.request];
self.connection = [[NSURLConnection alloc] initWithRequest:request delegate:self startImmediately:YES];
self.cll_request = self.request;
}
didReceiveResponse:
- (void)connection:(NSURLConnection*)connectiondidReceiveResponse:(NSURLResponse*)response {
[[self client] URLProtocol:self didReceiveResponse:response cacheStoragePolicy:NSURLCacheStorageAllowed];
self.cll_response= response;
}
didReceiveData:
- (void)connection:(NSURLConnection*)connectiondidReceiveData:(NSData*)data {
[self.client URLProtocol:self didLoadData:data];
[self.cll_dataappendData:data];
}
以上部分是为了在单次 HTTP 请求中记录各个所需要属性。
记录 Resquest 信息
为 NSURLReques 添加一个扩展:NSURLRequest+DoggerMonitor
Line
对于NSURLRequest 我没有 NSURLReponse 私有接口将其转换成 CFNetwork 相关数据,但是我们很清楚 HTTP 请求报文 Line 部分的组成,所以我们可以添加一个方法,获取一个经验 Line。
- (NSUInteger)cll_getLineLength {
NSString *lineStr = [NSString stringWithFormat:@"%@ %@ %@ %@ %@\n", self.URL.host,self.HTTPMethod, self.URL.path, @"HTTP/1.1",self.URL.query];
NSData *lineData = [lineStr dataUsingEncoding:NSUTF8StringEncoding];
returnlineData.length;
}
Header
Header 这里有一个非常大的坑。
request.allHTTPHeaderFields拿到的头部数据是有很多缺失的,这块跟业内朋友交流的时候,发现很多人都没有留意到这个问题。
缺失的部分不仅仅是上面一篇文章中说到的 Cookie。
如果通过 Charles 抓包,可以看到,会缺失包括但不仅限于以下字段:
Accept
Connection
Host
这个问题非常的迷,同时由于无法转换到 CFNetwork 层,所以一直拿不到准确的 Header 数据。
最后,我在 so 上也找到了两个相关问题,供大家参考
NSUrlRequest: where an app can find the default headers for HTTP request?
NSMutableURLRequest, cant access all request headers sent out from within my iPhone program
两个问题的回答基本表明了,如果你是通过 CFNetwork 来发起请求的,才可以拿到完整的 Header 数据。
所以这块只能拿到大部分的 Header,但是基本上缺失的都固定是那几个字段,对我们流量统计的精确度影响不是很大。
那么主要就针对 cookie 部分进行补全:
- (NSUInteger)cll_getHeadersLengthWithCookie {
NSUIntegerheadersLength =0;
NSDictionary *headerFields =self.allHTTPHeaderFields;
NSDictionary *cookiesHeader = [selfcll_getCookies];
// 添加 cookie 信息
if(cookiesHeader.count) {
NSMutableDictionary*headerFieldsWithCookies = [NSMutableDictionarydictionaryWithDictionary:headerFields];
[headerFieldsWithCookiesaddEntriesFromDictionary:cookiesHeader];
headerFields = [headerFieldsWithCookiescopy];
}
NSLog(@"%@", headerFields);
NSString*headerStr =@"";
for(NSString*keyinheaderFields.allKeys) {
headerStr = [headerStrstringByAppendingString:key];
headerStr = [headerStrstringByAppendingString:@": "];
if([headerFieldsobjectForKey:key]) {
headerStr = [headerStrstringByAppendingString:headerFields[key]];
}
headerStr = [headerStrstringByAppendingString:@"\r\n"];
}
headerStr = [headerStrstringByAppendingString:@"\r\n"];
NSData *headerData = [headerStr dataUsingEncoding:NSUTF8StringEncoding];
headersLength = headerData.length;
returnheadersLength;
}
- (NSDictionary<NSString *, NSString *> *)cll_getCookies {
NSDictionary *cookiesHeader;
NSHTTPCookieStorage *cookieStorage = [NSHTTPCookieStorage sharedHTTPCookieStorage];
NSArray *cookies = [cookieStoragecookiesForURL:self.URL];
if(cookies.count) {
cookiesHeader = [NSHTTPCookierequestHeaderFieldsWithCookies:cookies];
}
returncookiesHeader;
}
body
最后是 body 部分,这里也有个坑。通过 NSURLConnection 发出的网络请求 resquest.HTTPBody 拿到的是 nil。需要转而通过 HTTPBodyStream 读取 stream 来获取 request 的 Body 大小。
- (NSUInteger)cll_getBodyLength {
NSDictionary *headerFields =self.allHTTPHeaderFields;
NSUIntegerbodyLength = [self.HTTPBodylength];
if([headerFieldsobjectForKey:@"Content-Encoding"]) {
NSData*bodyData;
if(self.HTTPBody==nil) {
uint8_td[1024] = {0};
NSInputStream*stream =self.HTTPBodyStream;
NSMutableData*data = [[NSMutableDataalloc]init];
[streamopen];
while([streamhasBytesAvailable]) {
NSIntegerlen = [streamread:dmaxLength:1024];
if(len >0&& stream.streamError==nil) {
[dataappendBytes:(void*)dlength:len];
}
}
bodyData = [datacopy];
[streamclose];
}else{
bodyData =self.HTTPBody;
}
bodyLength = [[bodyDatagzippedData]length];
}
returnbodyLength;
}
记录 Response 信息
前面的代码实现了在网络请求过程中为cll_response和cll_data赋值,那么在stopLoading方法中,就可以分析cll_response和cll_data对象,获取下行流量等相关信息。
需要说明的是,如果需要获得非常精准的流量,一般来说只有通过 Socket 层获取是最准确的,因为可以获取包括握手、挥手的数据大小。当然,我们的目的是为了分析 App 的耗流量 API,所以仅从应用层去分析也基本满足了我们的需要。
上文中说到了报文的组成,那么按照报文所需要的内容获取。
Status Line
非常遗憾的是NSURLResponse没有接口能直接获取报文中的 Status Line,甚至连 HTTP Version 等组成 Status Line 内容的接口也没有。
最后,我通过转换到 CFNetwork 相关类,才拿到了 Status Line 的数据,这其中可能涉及到了读取私有 API
这里我为NSURLResponse添加了一个扩展:NSURLResponse+DoggerMonitor,并为其添加statusLineFromCF方法
typedef CFHTTPMessageRef (*cllURLResponseGetHTTPResponse)(CFURLRef response);
- (NSString*)statusLineFromCF{
NSURLResponse*response =self;
NSString*statusLine =@"";
// 获取CFURLResponseGetHTTPResponse的函数实现
NSString *funName = @"CFURLResponseGetHTTPResponse";
cllURLResponseGetHTTPResponseoriginURLResponseGetHTTPResponse =
dlsym(RTLD_DEFAULT, [funNameUTF8String]);
SELtheSelector =NSSelectorFromString(@"_CFURLResponse");
if([responserespondsToSelector:theSelector] &&
NULL!= originURLResponseGetHTTPResponse) {
// 获取NSURLResponse的_CFURLResponse
CFTypeRefcfResponse =CFBridgingRetain([responseperformSelector:theSelector]);
if(NULL!= cfResponse) {
// 将CFURLResponseRef转化为CFHTTPMessageRef
CFHTTPMessageRefmessageRef = originURLResponseGetHTTPResponse(cfResponse);
statusLine = (__bridge_transferNSString*)CFHTTPMessageCopyResponseStatusLine(messageRef);
CFRelease(cfResponse);
}
}
returnstatusLine;
}
通过调用私有 API _CFURLResponse 获得 CFTypeRef 再转换成 CFHTTPMessageRef,获取 Status Line。
再将其转换成 NSData 计算字节大小:
- (NSUInteger)cll_getLineLength{
NSString*lineStr =@"";
if ([self isKindOfClass:[NSHTTPURLResponse class]]) {
NSHTTPURLResponse *httpResponse = (NSHTTPURLResponse *)self;
lineStr = [selfstatusLineFromCF];
}
NSData *lineData = [lineStr dataUsingEncoding:NSUTF8StringEncoding];
returnlineData.length;
}
Header
通过 httpResponse.allHeaderFields 拿到 Header 字典,再拼接成报文的 key: value 格式,转换成 NSData 计算大小:
- (NSUInteger)cll_getHeadersLength {
NSUIntegerheadersLength =0;
if ([self isKindOfClass:[NSHTTPURLResponse class]]) {
NSHTTPURLResponse *httpResponse = (NSHTTPURLResponse *)self;
NSDictionary *headerFields = httpResponse.allHeaderFields;
NSString*headerStr =@"";
for(NSString*keyinheaderFields.allKeys) {
headerStr = [headerStrstringByAppendingString:key];
headerStr = [headerStrstringByAppendingString:@": "];
if([headerFieldsobjectForKey:key]) {
headerStr = [headerStrstringByAppendingString:headerFields[key]];
}
headerStr = [headerStrstringByAppendingString:@"\r\n"];
}
headerStr = [headerStrstringByAppendingString:@"\r\n"];
NSData*headerData = [headerStrdataUsingEncoding:NSUTF8StringEncoding];
headersLength = headerData.length;
}
returnheadersLength;
}
Body
对于 Body 的计算,上文看到有些文章里采用的expectedContentLength或者去NSURLResponse对象的allHeaderFields中获取Content-Length值,其实都不够准确。
首先 API 文档中对expectedContentLength也有介绍是不准确的:
其次,HTTP 1.1 标准里也有介绍Content-Length字段不一定是每个 Response 都带有的,最重要的是,Content-Length只是表示 Body 部分的大小。
我的方式是,在前面代码中有写到,在didReceiveData中对cll_data进行了赋值
didReceiveData:
- (void)connection:(NSURLConnection*)connectiondidReceiveData:(NSData*)data {
[self.client URLProtocol:self didLoadData:data];
[self.cll_dataappendData:data];
}
那么在stopLoading方法中,就可以拿到本次网络请求接收到的数据。
但需要注意对 gzip 情况进行区别分析。我们知道 HTTP 请求中,客户端在发送请求的时候会带上Accept-Encoding,这个字段的值将会告知服务器客户端能够理解的内容压缩算法。而服务器进行相应时,会在 Response 中添加Content-Encoding告知客户端选中的压缩算法。
所以,我们在stopLoading中获取Content-Encoding,如果使用了 gzip,则模拟一次 gzip 压缩,再计算字节大小:
- (void)stopLoading {
[self.connection cancel];
NSUInteger lineLen = [self.cll_response cll_getLineLength];
NSUInteger headerLen = [self.cll_response cll_getHeadersLength];
NSUIntegerbodyLen =0;
if ([self.cll_response isKindOfClass:[NSHTTPURLResponse class]]) {
NSHTTPURLResponse *httpResponse = (NSHTTPURLResponse *)self.cll_response;
NSData*data =self.cll_data;
if ([[httpResponse.allHeaderFields objectForKey:@"Content-Encoding"] isEqualToString:@"gzip"]) {
data = [self.cll_datagzippedData];
}
bodyLen = data.length;
}
NSUIntegertotleLen = lineLen + headerLen + bodyLen;
NSString*host =self.request.URL.host;
NSString*path =self.request.URL.path;
}
在CLLURLProtocol的- (nullable NSURLRequest *)connection:(NSURLConnection *)connection willSendRequest:(NSURLRequest *)request redirectResponse:(nullable NSURLResponse *)response;方法中对 resquest 调用报文各个部分大小方法:
-(NSURLRequest *)connection:(NSURLConnection *)connection willSendRequest:(NSURLRequest *)request redirectResponse:(NSURLResponse *)response {
if(response !=nil) {
self.cll_response= response;
[self.client URLProtocol:self wasRedirectedToRequest:request redirectResponse:response];
}
NSUIntegerlineLen =[connection.currentRequestcll_getLineLength];
NSUIntegerheaderCookieLen = [connection.currentRequestcll_getHeadersLengthWithCookie];
NSUIntegerbodylen = [connection.currentRequestcll_getBodyLength];
NSUIntegertotleLen = lineLen + headerCookieLen + bodylen;
NSString*host = request.URL.host;
NSString*path = request.URL.path;
returnrequest;
}
针对 NSURLSession 的处理
直接使用CLLURLProtocol并registerClass并不能完整的拦截所有网络请求,因为通过NSURLSession的sharedSession发出的请求是无法被NSURLProtocol代理的。
我们需要让[NSURLSessionConfiguration defaultSessionConfiguration].protocolClasses的属性中也设置我们的DMURLProtocol,这里通过 swizzle,置换protocalClasses的 get 方法:
#import <Foundation/Foundation.h>
@interface CLLURLSessionConfiguration : NSObject
@property (nonatomic,assign) BOOL isSwizzle;
+ (CLLURLSessionConfiguration *)defaultConfiguration;
- (void)load;
- (void)unload;
@end
#import "CLLURLSessionConfiguration.h"
#import <objc/runtime.h>
#import "CLLURLProtocol.h"
#import "CLLNetworkTrafficManager.h"
@implementation CLLURLSessionConfiguration
+ (CLLURLSessionConfiguration *)defaultConfiguration {
staticCLLURLSessionConfiguration*staticConfiguration;
staticdispatch_once_tonceToken;
dispatch_once(&onceToken, ^{
staticConfiguration=[[CLLURLSessionConfigurationalloc]init];
});
returnstaticConfiguration;
}
- (instancetype)init {
self= [superinit];
if(self) {
self.isSwizzle=NO;
}
return self;
}
- (void)load{
self.isSwizzle=YES;
Class cls = NSClassFromString(@"__NSCFURLSessionConfiguration") ?: NSClassFromString(@"NSURLSessionConfiguration");
[selfswizzleSelector:@selector(protocolClasses)fromClass:clstoClass:[selfclass]];
}
- (void)unload{
self.isSwizzle=NO;
Class cls = NSClassFromString(@"__NSCFURLSessionConfiguration") ?: NSClassFromString(@"NSURLSessionConfiguration");
[selfswizzleSelector:@selector(protocolClasses)fromClass:clstoClass:[selfclass]];
}
- (void)swizzleSelector:(SEL)selectorfromClass:(Class)originaltoClass:(Class)stub {
MethodoriginalMethod =class_getInstanceMethod(original, selector);
MethodstubMethod =class_getInstanceMethod(stub, selector);
if(!originalMethod || !stubMethod) {
[NSException raise:NSInternalInconsistencyException format:@"Couldn't load NEURLSessionConfiguration."];
}
method_exchangeImplementations(originalMethod, stubMethod);
}
- (NSArray *)protocolClasses {
return [CLLNetworkTrafficManager manager].protocolClasses;
}
@end
这样,我们写好了方法置换,在执行过该类单例的load方法后,[NSURLSessionConfiguration defaultSessionConfiguration].protocolClasses拿到的将会是我们设置好的protocolClasses。
如此,我们再为CLLURLProtocol添加start和stop方法,用于启动网络监控和停止网络监控:
+ (void)start{
CLLURLSessionConfiguration *sessionConfiguration = [CLLURLSessionConfiguration defaultConfiguration];
for(idprotocolClassin[CLLNetworkTrafficManagermanager].protocolClasses) {
[NSURLProtocolregisterClass:protocolClass];
}
if(![sessionConfigurationisSwizzle]) {
[sessionConfigurationload];
}
}
+ (void)end{
CLLURLSessionConfiguration *sessionConfiguration = [CLLURLSessionConfiguration defaultConfiguration];
[NSURLProtocol unregisterClass:[CLLURLProtocol class]];
if([sessionConfigurationisSwizzle]) {
[sessionConfigurationunload];
}
}
到此,基本完成了整个网络流量监控。
再提供一个 Manger 方便使用者调用:
#import <Foundation/Foundation.h>
@class CLLNetworkLog;
@interface CLLNetworkTrafficManager : NSObject
@property (nonatomic, strong) NSArray *protocolClasses;
+ (CLLNetworkTrafficManager *)manager;
/** 通过 protocolClasses 启动流量监控模块 */
+ (void)startWithProtocolClasses:(NSArray*)protocolClasses;
/** 仅以 CLLURLProtocol 启动流量监控模块 */
+ (void)start;
/** 停止流量监控 */
+ (void)end;
@end
#import "CLLNetworkTrafficManager.h"
#import "CLLURLProtocol.h"
@interface CLLNetworkTrafficManager ()
@end
@implementation CLLNetworkTrafficManager
#pragma mark- Public
+ (CLLNetworkTrafficManager *)manager {
static CLLNetworkTrafficManager *manager;
staticdispatch_once_tonceToken;
dispatch_once(&onceToken, ^{
manager=[[CLLNetworkTrafficManager alloc] init];
});
returnmanager;
}
+ (void)startWithProtocolClasses:(NSArray*)protocolClasses {
[selfmanager].protocolClasses= protocolClasses;
[CLLURLProtocol start];
}
+ (void)start{
[self manager].protocolClasses = @[[CLLURLProtocol class]];
[CLLURLProtocol start];
}
+ (void)end{
[CLLURLProtocol end];
}
@end
至此网络监控就算完成了,当然可以把统计到的流量保存到一个表中,然后上传到服务器;也可以通过埋点直接传给服务器,存储统计,这种根据实际需求就可以。有啥不懂的可以私信我呦