20 内存管理[python基础]

为什么要学习内存管理

8G内存+1T硬盘:
1,执行程序时把硬盘中存放的程序的字节码读到内存中执行
计算机理论需要对内存管理进行学习,编程开发的软件会更有效率,面试会有这方面的题目,对计算机底层理论的理解决定工资高度。
面试造火箭,入职拧螺丝
2,代码更高效,程序更健壮。
3,以更快、更好的方式解决问题

8G内存如何高效分析上G的数据。
只有8G内存,为什么程序可以一直跑下去
8G内存背后,python都为我们做了什么,了解python语言的强大和巧妙
更深入理解python

赋值语句的内存分析

1,使用id()方法访问内存地址
a = 1
id(a) //返回本机内存地址1880273984

c = 5
id(c)
d = 5
id(d) //这时候c和d的地址是一样的,都是引用了一个内存地址。这时候,c = d和c is d (对比内存地址),同时为True

e = 999999999
id(e)
f = 999999999
id(f) //这时候e和f的地址不同,e=f为TRUE,e is f 为FALSE
//python对内存使用进行了优化,比较小的数字和短字符串,内存中是引用了一样的地址,比较大的在内存中是分别存放。
g = [ ]
h = [ ]
id(g)==id(h) //TRUE
id(g) is id(g) //false

x =1
y =x
id(x) is id(y) //true
y = 2
id(x) is id(y) //false 这时候y的地址发生了变化

//思考下面输出结果
def extend_list(val, l =[])
l.appedn(val)
return l

list1 = extend_list(10)
list2 = extend_list(123, [])
list3 = extend_list('a')

//结果
[10,'a']
[123]
[10,'a']
//lIst1和list3操作的是同一个地址

垃圾回收机制

1,以引用计数为主,分代收集为辅
2,如果一个对象的引用数为0,python虚拟机就会回收这个对象的内存
3,引用计数的缺陷是循环引用的问题

class Cat(object):
def int(self):
print('对象产生了:{0}'.format(id(self)))

def __del__(self):
    print('对象删除了:{0}'.format(id(self)))

def f0():
//自动回收内存,检测是否被引用的频率很快,创建下一个的同时,回收上一个
while True:
c1 = Cat()

def f1():
//一直被引用,内存不会被收回
l = [ ]
while True:
c1 = Cat()
l.append(c1)

if name == 'main':
f0()
f1()

python内存管理机制

引用计数(reference count)

1,每个对象都有存有指向该对象的引用总数
2,查看某个对象的引用计数
sys.getrefcount()
3,可以用del关键字删除某个引用

import sys

i = 1 //赋值

l = [ ] //对象引用
l2 = l
l3 = l
l5 = l
//对象l被引用的数量
print(sys.getrefcount(l))
del l2
//对象l被引用的数量
print(sys.getrefcount(l)) //getrefcount本身也会对对象有临时引用
print(sys.getrefcount(i)) //赋值和对象引用不同,它涉及内存共享问题,所以结果不是从1开始。

垃圾回收

1,满足特定条件,自动启动垃圾回收
2,当python运行时,会记录其中分配对象(object allocation)和取消分配对象(object deallocation)的次数
3,当两者的差值高于某个阈值时,垃圾回收才会启动
4,查看阈值 gc.get_threshold()

import gc

print(gc,get_threshold()) //得到一个元组(700, 10,10)

分代回收

1,python将所有对象分为0, 1,2三代
2,所有的新建对象都是0代对象
3,当某一代对象经历过垃圾回收,依然存活,那么它就被归入下一代对象

手动回收

1,gc.collect()手动回收
2,objgraph模块中的count()记录当前类产生的实例对象的个数

import gc, sys
import objgraph //第三方包,需要安装 pip install objgraph

print(gc,get_threshold())

class Persion(object)
pass

class Cat(object)
pass

p = Persion()
c = Cat()
p.name ='Susan'
p.Cat = c
c.master = p //c,p循环引用

print(sys.getrefcount(p))
print(sys.getrefcount(c))

del p
del c

//手动执行垃圾回收
gc.collect()
print(objgraph.count('Persion'))
print(objgraph.count('Cat'))

内存管理机制

1,内存池(memory pool)机制
当创建大量消耗小内存的对象时,频繁调用new/malloc会导致大量的内存碎片,致使效率降低。内存池的概念就是预先在内存中申请一定数量的,大小相等的内存块留作备用,当有新的内存需求时,就线从内存池中分配内存给这个需求,不够了之后再申请新的内存。这样做最显著的优势就是能够减少内存碎片,提升效率。

2,python3中的内存管理机制——pymalloc
针对小对象(<=512bytes),pymalloc会在内存池中申请内存空间。
当>512bytes,则会pymem_rawmalloc()和pymem_rawrealloc()来申请新的内存空间。

3,单位换算
1 Byte = 8 Bits(即 1B=8b)
1 KB = 1024 Bytes
1 MB = 1024 KB
1 GB = 1024 MB
备注:bit意为'位'或者'比特',是计算机运算的基础,属于二进制的范畴。byte意为'字节',是计算机文件大小的基本计算单位。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 225,208评论 6 524
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 96,502评论 3 405
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 172,496评论 0 370
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 61,176评论 1 302
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 70,185评论 6 401
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 53,630评论 1 316
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 41,992评论 3 431
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 40,973评论 0 280
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 47,510评论 1 325
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 39,546评论 3 347
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 41,659评论 1 355
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 37,250评论 5 351
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 42,990评论 3 340
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 33,421评论 0 25
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 34,569评论 1 277
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 50,238评论 3 382
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 46,732评论 2 366

推荐阅读更多精彩内容