YYCache
大体结构
NSCache
特性:
- 线程安全
- NSCache 底层并没有用 NSDictionary 等已有的类，而是直接调用了 libcache.dylib，线程安全由 pthread_mutex 完成的。
- 性能和 key 的相似度有关，如果有大量相似的 key (比如 "1", "2", "3", ...) ，NSCache 的存取性能会剧烈下降，大量的时间被消耗在 CFStringEqual() 上
- 收到内存警告时, 马上清空所有缓存, 无法精准控制
YYMemoryCache
特征:
- LRU淘汰算法
- 收到内存警告时可精准控制行为
- 对象数量限制, 总容量限制, 存活时间限制
- 查询和插入时, 并不是通过遍历双向链表, 而是使用字典hash表快速查找到指定结点, 保证效率
主要手段:
- CFMutableDictionaryRef来实现数据的实际存储；
- 使用OSSpinLockLock来保证线程的安全 (之后改为pthread_mutex_lock)
- 使用_YYLinkedMapNode和_YYLinkedMap来组织数据的存储结构
- 使用YYMemoryCache来组织对数据的各种操作
性能对比 (QPS)
NSDictionary线程不安全, 表现最佳
YYCache表现优于NSCache
性能对比
数据结构的图表 (LRU:Least Recently Used近期最少使用算法)
淘汰算法
数据结构
Cache的操作共3种
- 插入：当Cache未满时，新的数据项只需插到双链表头部即可
- 替换：当Cache已满时，将新的数据项插到双链表头部，并删除双链表的尾结点即可
- 查找：每次数据项被查询到时，都将此数据项移动到链表头部
链表
关于锁的使用
用于内存的锁 (自旋锁)
OSSpinLock 自旋锁，性能最高的锁。一直 do while 忙等。缺点是等待时消耗大量 CPU 资源，不适用于较长时间的任务。对于内存缓存的存取来说，它非常合适。
根据大神博客, OSSPinLock有风险, 苹果的线程QoS会造成优先级反转
结论，除非开发者能保证访问锁的线程全部都处于同一优先级，否则 iOS 系统中所有类型的自旋锁都不能再使用了。
旧版本
- (void)setObject:(id)object forKey:(id)key withCost:(NSUInteger)cost {
OSSpinLockLock(&_lock);
_YYLinkedMapNode *node = CFDictionaryGetValue(_lru->_dic, (__bridge const void *)(key));
if (node) {
//移动到头结点
[_lru bringNodeToHead:node];
} else {
//添加到头部
[_lru insertNodeAtHead:node];
}
OSSpinLockUnlock(&_lock);
}
锁性能对比
新版本
- (void)setObject:(id)object forKey:(id)key withCost:(NSUInteger)cost {
pthread_mutex_lock(&_lock);
_YYLinkedMapNode *node = CFDictionaryGetValue(_lru->_dic, (__bridge const void *)(key));
if (node) {
//移动到头结点
[_lru bringNodeToHead:node];
} else {
//添加到头部
[_lru insertNodeAtHead:node];
}
pthread_mutex_unlock(&_lock);
}
用于磁盘的锁 (互斥锁)
dispatch_semaphore 信号量，
- 没有等待情况出现时，性能比 pthread_mutex 还要高，但有等待情况时，性能会下降许多
- 相对于 OSSpinLock ，优势在于等待时不会消耗 CPU 资源。更适合耗时较大的磁盘IO
YYDiskCache
tricky的地方
- 单条数据小于 20K 时，SQLite读取性能越高
- 单条数据大于 20K 时，写文件更快
最佳实践
- SQLite 和文件存储结合起来：key-value 元数据保存在 SQLite 中，而 value 数据则根据大小不同选择 SQLite 或文件存储。
结尾
自动清理缓存
- 为什么要指定在主线程清理缓存呢?
- 这里为什么是pthread_mutex_trylock
- (void)_trimToCost:(NSUInteger)costLimit {
/*
costlimit为0时, 直接清空所有并return
*/
NSMutableArray *holder = [NSMutableArray new];
BOOL finish = NO;
while (!finish) {
if (pthread_mutex_trylock(&_lock) == 0) {
if (_lru->_totalCost > costLimit) {
_YYLinkedMapNode *node = [_lru removeTailNode];
if (node) [holder addObject:node];
} else {
finish = YES;
}
pthread_mutex_unlock(&_lock);
} else {
usleep(10 * 1000); //10 ms
}
}
if (holder.count) {
dispatch_queue_t queue = _lru->_releaseOnMainThread ? dispatch_get_main_queue() : YYMemoryCacheGetReleaseQueue();
dispatch_async(queue, ^{
[holder count]; // release in queue
});
}
}
