提高本地日志文件的读取效率
如何统计读取时间
mach_absolute_time()函数
mach_absolute_time是一个CPU/总线依赖函数,返回一个基于系统启动后的时钟”嘀嗒”数
CGFloat timeCalculate (void(^block)(void)){
mach_timebase_info_data_t info;
if (mach_timebase_info(&info) != KERN_SUCCESS) return -1.0;
uint64_t start = mach_absolute_time();
if (block) {
block();
}
uint64_t end = mach_absolute_time();
uint64_t delta = end - start;
uint64_t nanos = delta * info.numer / info.denom;
return (CGFloat)nanos/NSEC_PER_SEC;
}
读取文件方式
- 写文件在本地沙盒
优点:不易丢失
缺点:频繁调用系统内核API,读取速度慢,IO消耗大,耗电增大
平常我们读取磁盘上的一个文件,上层API调用到最后会使用系统方法read()读取数据,内核把磁盘数据读入内核缓冲区,用户再从内核缓冲区读取数据复制到用户内存空间,这里有一次内存拷贝的时间消耗,并且读取后整个文件数据就已经存在于用户内存中,占用了进程的内存空间
- 将文件写在内存缓存里,合适时候再写入沙盒
优点:读取速度快
缺点:容易丢失(app进程被杀掉)
- MMAP(内核地址空间映射到用户进程)
mmap 省掉了内核空间与用户进程空间的拷贝,数据直接写在内核空间中,内核按照一定的策略(LRU,时钟工作集,老化)把脏页面写回磁盘中。即使用户进程crash,被kill 也不会丢数据。
优点:写入速度几乎和内存访问速度一样,不会丢数据。
使用mmap还能保证日志的完整性,因为如下这些情况下回自动回写磁盘:
- 内存不足
- 进程 crash
- 调用 msync 或者 munmap
- 不设置 MAP_NOSYNC 情况下 30s-60s(仅限FreeBSD)
MMAP VS 从硬盘读取文件到内存
- 从硬盘读取文件到内存:需要先将数据拷贝到CPU高速缓冲区,再从高速缓冲区读取到进程的内存物理地址空间
- MMAP:省去将数据拷贝到CPU高速缓冲区,直接将文件内容的一部分或全部映射到进程的内存物理地址空间。mmap并不分配物理地址空间,它只是占有进程的虚拟地址空间,当发现pageFault,将磁盘数据直接映射到物理内存
Q
- 为什么使用了memcpy,不使用msync和munmap
- 为什么使用memcpy,会自动把内容同步到磁盘
- 什么是内核空间,脏页面是什么,数据直接写到内核空间里,内核空间会不会暴涨