如何设计一个日志系统

提高本地日志文件的读取效率

如何统计读取时间

mach_absolute_time()函数

mach_absolute_time是一个CPU/总线依赖函数,返回一个基于系统启动后的时钟”嘀嗒”数

CGFloat timeCalculate (void(^block)(void)){
    mach_timebase_info_data_t info;
    if (mach_timebase_info(&info) != KERN_SUCCESS) return -1.0;
    
    uint64_t start = mach_absolute_time();
    if (block) {
        block();
    }
    uint64_t end = mach_absolute_time();
    uint64_t delta = end - start;
    uint64_t nanos = delta * info.numer / info.denom;
    return (CGFloat)nanos/NSEC_PER_SEC;
}

读取文件方式

  • 写文件在本地沙盒
    优点:不易丢失
    缺点:频繁调用系统内核API,读取速度慢,IO消耗大,耗电增大

平常我们读取磁盘上的一个文件,上层API调用到最后会使用系统方法read()读取数据,内核把磁盘数据读入内核缓冲区,用户再从内核缓冲区读取数据复制到用户内存空间,这里有一次内存拷贝的时间消耗,并且读取后整个文件数据就已经存在于用户内存中,占用了进程的内存空间

  • 将文件写在内存缓存里,合适时候再写入沙盒
    优点:读取速度快
    缺点:容易丢失(app进程被杀掉)
  • MMAP(内核地址空间映射到用户进程)
    mmap 省掉了内核空间与用户进程空间的拷贝,数据直接写在内核空间中,内核按照一定的策略(LRU,时钟工作集,老化)把脏页面写回磁盘中。即使用户进程crash,被kill 也不会丢数据。
    优点:写入速度几乎和内存访问速度一样,不会丢数据。
使用mmap还能保证日志的完整性,因为如下这些情况下回自动回写磁盘:
  • 内存不足
  • 进程 crash
  • 调用 msync 或者 munmap
  • 不设置 MAP_NOSYNC 情况下 30s-60s(仅限FreeBSD)
MMAP VS 从硬盘读取文件到内存
  • 从硬盘读取文件到内存:需要先将数据拷贝到CPU高速缓冲区,再从高速缓冲区读取到进程的内存物理地址空间
  • MMAP:省去将数据拷贝到CPU高速缓冲区,直接将文件内容的一部分或全部映射到进程的内存物理地址空间。mmap并不分配物理地址空间,它只是占有进程的虚拟地址空间,当发现pageFault,将磁盘数据直接映射到物理内存

Q

  • 为什么使用了memcpy,不使用msync和munmap
  • 为什么使用memcpy,会自动把内容同步到磁盘
  • 什么是内核空间,脏页面是什么,数据直接写到内核空间里,内核空间会不会暴涨

参考

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,188评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,464评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,562评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,893评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,917评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,708评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,430评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,342评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,801评论 1 317
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,976评论 3 337
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,115评论 1 351
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,804评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,458评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,008评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,135评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,365评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,055评论 2 355

推荐阅读更多精彩内容

  • 看完了微信团队对Xlog的整体介绍,迫不及待开始了研究,理论部分我是完全参考微信终端跨平台组件 mars 系列(一...
    星期五__阅读 9,478评论 2 17
  • 日志收集框架的作用 相信大家在开发应用的时候,总会遇到bug,这个时候,如果bug是在我们本地开发的过程中发现的,...
    Mashell熙阅读 8,819评论 0 8
  • 前言 最近在做一个新零售的收银app,对于app稳定性要求比较高,但是难免会出现一些难以复现的问题,针对这些问题,...
    Jesse505阅读 2,321评论 0 3
  • 日志系统设计需要考虑的问题: 1.需要保证日志系统收集到的数据的有效性和完整性,在app崩溃时日志不丢失。 2.保...
    5f4688e0d226阅读 1,892评论 0 2
  • 场景 程序频繁的输出一些log,要记录,需要的时候要上报到后台分析。 方式1:写文件,写数据库优点:不容易丢数据。...
    ck2016阅读 5,871评论 2 7