mmap 背景
mmap将一个文件或者其它对象映射进内存,文件以mmap的方式映射到用户的虚拟内存空间,省去了从内核缓冲区复制到用户空间的过程。文件中的位置在虚拟内存中有了对应的地址,可以像操作内存一样操作这个文件,相当于已经把整个文件放入内存,但在真正使用到这些数据前却不会消耗物理内存,也不会有读写磁盘的操作,只有真正使用这些数据时,也就是图像准备渲染在屏幕上时,虚拟内存管理系统VMS才根据缺页加载的机制从磁盘加载对应的数据块到物理内存进行渲染。
文件需要以PAGE_SIZE为单位进行映射,而内存也只能以页为单位进行映射,若要映射非PAGE_SIZE整数倍的地址范围,要先进行内存对齐,强行以PAGE_SIZE的倍数大小进行映射。
内存分页
内存分页(Paging)是在使用MMU(Memory Management Unit)内存管理单元的基础上提出的一种内存管理机制。它将虚拟地址和物理地址按固定大小(4K)分割成页(page)和页帧(page frame)并保证页与页帧的大小相同。
mmap(NULL, _length, (PROT_READ|PROT_WRITE), (MAP_FILE|MAP_SHARED), _fileDescriptor, _fileOffset);
// start : 指向欲映射的内存起始地址,通常设为 NULL,代表让系统自动选定地址,映射成功后返回该地址。
// length: 代表将文件中多大的部分映射到内存。
// prot : 映射区域的保护方式。可以为以下几种方式的组合:
// PROT_EXEC 映射区域可被执行
// PROT_READ 映射区域可被读取
// PROT_WRITE 映射区域可被写入
// PROT_NONE 映射区域不能存取
// flags : 影响映射区域的各种特性。在调用mmap()时必须要指定MAP_SHARED 或MAP_PRIVATE。
// MAP_FIXED 如果参数start所指的地址无法成功建立映射时,则放弃映射,不对地址做修正。通常不鼓励用此旗标。
// MAP_SHARED 对映射区域的写入数据会复制回文件内,而且允许其他映射该文件的进程共享。
// MAP_PRIVATE 对映射区域的写入操作会产生一个映射文件的复制,即私人的“写入时复制”(copy on write)对此区域作的任何修改都不会写回原来的
// fd : 要映射到内存中的文件描述符。如果使用匿名内存映射时,即flags中设置了MAP_ANONYMOUS,fd设为-1。
// 有些系统不支持匿名内存映射,则可以使用fopen打开/dev/zero文件,然后对该文件进行映射,可以同样达到匿名内存映射的效果。
// offset: 文件映射的偏移量,通常设置为0,代表从文件最前方开始对应,offset必须是PAGE_SIZE的整数倍。
使用mmap读取文件
// mmap从存在的文件读取数据
NSString *_filePath = [[NSBundle bundleForClass:[ViewController class]] pathForResource:@"LargeFile" ofType:@"txt"];
int _fileDescriptor = open([_filePath fileSystemRepresentation], O_RDWR | O_CREAT, 0666);
// 从文件中取多少数据
int _length = theBytesYouWant();
// offset必须是pageSize的整数倍, _fileOffset = offset & ~(sysconf(_SC_PAGE_SIZE) - 1);
int _fileOffset = 0;
char *_bytes = mmap(NULL, _length, (PROT_READ|PROT_WRITE), (MAP_FILE|MAP_SHARED), _fileDescriptor, _fileOffset);
if (_bytes == MAP_FAILED)
{
NSLog(@"Failed to map chunk. errno=%d", errno);
_bytes = NULL;
} else {
long size = strlen(_bytes);
NSLog(@"mmap data size=%ld", size);
}
NSData *data = [NSData dataWithBytes:_bytes length:_length];
NSString *resultStr = [[NSString alloc] initWithData:data encoding:NSASCIIStringEncoding];
NSLog(@"%@", resultStr);
修改后同步
// 同步内存中的修改到文件
_bytes[0] = 'h';
_bytes[1] = 'e';
_bytes[2] = 'l';
_bytes[3] = 'p';
int result = msync(_bytes, _length, MS_SYNC);
if (result) {
NSString *message = [NSString stringWithFormat:@"*** FIC Error: %s msync(%p, %d) returned %d",
__PRETTY_FUNCTION__, _bytes, _length, result];
NSLog(@"%@", message);
}
解除映射
// dealloc
if (_bytes != NULL) {
munmap(_bytes, _length);
}
在Objc 里面,这变得简单多了。NSData 提供了读取文件到虚拟内存的方式:
+ (id)dataWithContentsOfFile: (NSString *)path options: (NSDataReadingOptions)readOptionsMask error: (NSError **)errorPtr;
其中NSDataReadingOptions可以附加一个参数NSDataReadingMappedIfSafe参数。使用这个参数后,iOS就不会把整个文件全部读取的内存了,而是将文件映射到进程的地址空间中,这么做并不会占用实际内存。这样就可以解决内存满的问题。
Ref :
Which NSDataReadingOptions should be used when reading a local file?
认真分析mmap:是什么 为什么 怎么用