《原因与结果的经济学》读书笔记——因果推理

本书关键词:相关关系,因果关系,因果推断,三个要点,随机对照试验,五大步骤

15858342297669.jpg

本书的主题---“<font color=red>因果推理</font>“---是统计分析的一个延伸应用,因为有了之前的统计知识作为基础,这本书读起来很轻松,收获就是帮助了解社会科学和社会调查领域如何进行科学的实验、观察和统计分析。

因果推导是统计学中的一个重要概念,对应的经典方法就是随机对照实验,通过随机化避免其他变量的干扰。对于无法进行实验的社会问题,可以通过观察实验或准实验,进行类似的对照实验。

生活中也可以进行简单的因果推理,只需要参考书中的步骤,确定控制变量、观察变量、空白组(不施加控制),最后进行对比(分析的本质是比较!)。

这本书和其他基本统计思维图书,一起为我20年和21年系统和深入学习六西格玛知识奠定了基础。

整理读书笔记时,先重读warfalcon的这篇读书笔记,我当时就是看了这篇读书笔记才发现并开始阅读本书,有些内容我在本文中不再赘述。
参考读书笔记:模型思维介绍:因果推理模型

看完这本书,本想继续阅读另一本“统计推断“的图书《为什么——关于因果关系的新科学》(豆瓣链接),后来读了kindle样章,理论太多,放弃,转而精读《六西格玛管理统计指南》蓝皮书。

本书简单知识点:

  1. 因果关系和相关关系的区别
  2. 随机对照试验的具体解释(第二章):为何随机,如何比较(对照)
  3. 何谓“统计学上具有显著性” —— 无法用小概率事件或巧合解释的差异,比如p<0.05,即发生巧合的概率不到5%,那么拒绝零假设,所以选择备则假设。
  4. 时间相关性:为什么“前后比较毫无意义”,容易出现“时间先后发生”带来的误判。
  5. 观察实验
  6. 准实验
  7. 证据金字塔(不同证据的说服力高低)
  8. 因果推理的五步骤

统计学和因果推理的意义

统计学知识帮助我们面对“不确定性”和“用样本反映总体”,其中相关性是统计学中的一个关键内容,这方面包括相关系数、相关分析、回归分析(拟合)等。
但相关不等于因果,只有相关性并不能帮助我们作出“做什么/不做什么的判断”,所以更重要的是如何从统计结论中识别出因果关系,<font color=red>利用因果推理,将因果关系作为行动依据,才能节省稀缺的时间、金钱和精力,更有可能获得满意的结果。</font>。

可以说,基于统计知识的因果推理,也是生活中的决策的方法论!生活之中处处有决策,这塑造了我们的人生。

正确区分因果关系和相关关系的方法论称为“因果推理”
“浅薄的人相信运气,强大的人相信因果”——爱迪生。

如何区分相关关系和因果关系?

判断两个变量属于因果关系还是相关关系时,先回答以下三个问题:

①是否“纯属巧合”? 【仅仅是时间上先后发生,不代表存在因果关系】
②是否存在“第三变量”? 【“共同变量”】
③是否存在“逆向因果关系”?【因果颠倒】

作者在书一开始提出了三个问题,并在后续章节详细解释其中的因果推理错误。

  • 定期接受代谢综合征体检就能长寿吗?【共同变量是什么?定期体检的人更注重健康。】
  • 看电视会导致孩子学习能力下降吗?【逆向因果?学习差的孩子更爱看电视?】
  • 上入学分数高的大学收入就会更高吗?【共同变量是什么?用断点回归分析,结论是否定的。】

反事实——因果推理的关键所在,假设检验的本质

关键词:逆向思考,对比,可证伪性,零假设

科学的两大工具是观察和实验,不论观察还是实验,关键是比较,这也是我多次反复提及的”分析的本质是比较!“

和谁比较? 答案是“反事实”,反事实就是假设我们要研究的变量没有发生,通过比较,分析该变量的作用。

反事实就是统计学假设检验的”零假设“(null hypothesis),只有推翻&拒绝了零假设,才能选择其备则假设(alternative hypothesis),零假设就是我们设定的反事实。

当然也很容易看出,反事实涉及到反向思考和可证伪性,这都是基本的科学思维。

本书第一章强调,<font color=red>因果推理的根本问题是反事实的选择或设计</font>。

比如市场调研,就要寻找“可比较选项”——某一影响因素正好处于我们想要设定的零假设状态,而其他影响因素保持不变。比如经济状况相似的两个地区的两家店铺,一家做春节广告,一家不做春节广告,对比才能说明春节期间的销量增加是否真的源自广告,还是假期自身的销量增加。

“幸存者偏见”就是典型的缺乏反事实所致的错误思维,只看成功案例,不看失败案例。没有对比,成功的结果的真实原因就无从考究。

随机对照试验---科学的实验方法

科学实验的基本方法就是对照试验,设定不同的实验变量,通过“对照组”和实验组的结果对比,进行因果推理,这是科研常识。

基于统计的分析则是”随机对照试验“,利用随机性减少波动(spread)。随机和提高抽样量,是减少波动的两种方法,目的都是避免极端数据的影响。。

分析的本质是比较,所以要进行“<font color=red>对照</font>”实验,对照组vs实验组,实验组施加某一控制因素,通过对比分析该控制变量的影响结果。

”随机“可以减少不可控制因素的波动影响,这也是实验设计(DOE)中的三个基本原则之一!实验中有一些我们无法控制的变量,所以要通过随机化,避免控制因素之外的因素干扰。

很多情况下难以寻找或设定”对照组”,比如某些变量很难做到完全随机,可以使用《六西格玛管理统计指南》中的原则3——区块设计(blocking design),保证组间的随机化;针对无法主观设置对照组的情况,比如设计伦理冲突,尤其是临床领域的疗效对比等,比如不能让测试者吸烟来研究吸烟是否有害健康,则要通过观察实验和准实验来进行“随机对照实验”。

准试验 (观察实验和统计分析)

科学的实验方法是“随机对照试验”,但经济学中很难进行实验设计,更多是观察试验,或者从社会现实中找到尽可能相似的”随机对照试验“,排除其他因素的干扰,从而分析所要研究的原因和结果的关系。
不难发现下面说的几个方法,都是围绕”随机,对照“展开的,这样才能得到可信的结论。

  • 双重差分法,排除时间先后发生的时间序列因素。
  • 工具变量法,是利用一个新的可控变量去调控原因。
  • 断点回归法,是利用特定的政策设定,找到政策影响下的两种相似群体。
  • 匹配法,是挑选协变量尽可能一致,只有要研究的原因不同的两组群体。

自然实验是利用观测数据和外生冲击,找到类似随机对照试验的环境。然而,日常生活中很少出现法律制度变更、自然灾害等外生冲击,很难找到可视为自然实验的环境。在这种情况下,我们应该怎么做呢?
本章(第四章)开始介绍“准实验”。准实验是对实验的“模仿”,即通过观测数据和统计学方法,打造出与实施随机对照试验相类似的状态。关于这里所说的“统计学方法”,本书将介绍以下4种。

  • 双重差分法(第4章)
  • 工具变量法(第5章)
  • 断点回归法(第6章)
  • 匹配法(第7章)

双重差分法: 不能通过简单比较先后发生的原因和结果,说明某个因素的影响,不然容易犯“第一种错误——只是巧合”。
准确的做法是,设置一个“反事实”,即不添加影响因素的先后发生的结果,这是“对照组”,与实验组比较,得到结论。
<font color=red>双重差分法的本质,是通过找到一个平行发生、没有干预的对照组,排除时间的因素。</font>

双重差分法:该方法从受到干预的组(干预组)和未受干预的组(对照组)中获取预前后的结果差异,以及干预后和对照组的结果差异。不过,该方法只在两个前提条件成立时才能发挥作用。第一个前提条件是,干预组和对照组在干预前的结果具有相同“趋势”,即“趋势”是“可比较”的。第二个前提条件是,在施加干预期间,没有其他变化对干预组和对照组的结果产生影响。


双重差分法.jpg

工具变量:只影响原因,不影响结果。 其实就相当于多了一个控制原因的因素而已。

(第三方)工具变量法:该方法利用“只能通过影响原因而间接影响结果”的工具变量,使受到干预的组(干预组)和不受干预的组(对照组)形成可比较的状态。不过,这种方法只有在满足两个前提条件时才能发挥作用。第一个条件是,工具变量会影响原因,但不会直接影响结果。第二个条件是,不存在同时影响工具变量和结果的第四变量。

“断点”两端是相似的可比较的两种情况,因为政策等的干预,对应不同的选择,从而适合研究这种政策或原因的影响。比如书中举的例子,70岁之后的医疗报销比例从10%提高到30%,那么研究人员可以对比71岁和69岁的两类人群,从而评估政策对某个结果的影响。

断点回归设计:利用任意决定的断点值两侧自然成为干预组与对照组的情况,推算因果效应的方法。断点回归设计成立的前提条件是断点值周围没有发生影响结果的其他事件。 【政策变动前后的影响分析】

匹配法:从多个因素(协变量)中,找到某个因素的不同水平,而尽量保证其他因素都一致,然后进行比较。

匹配法:该方法运用能够影响结果的协变量,从对照组中选出和干预组相似的样本进行匹配,并对两个组进行比较。存在多个协变量时,也可以将它们整合成一个得分进行匹配(倾向得分匹配法)。匹配法成立的条件是影响结果的所有协变量均可观测。

证据金字塔

下图可以看出,随机对照试验最准确,其次是观察试验,准试验(挑选的观察试验),最后是回归分析。

完全通过观察,收集可以对比的数据进行因果推理的情况,也就是书中说的“自然试验”,这是第三章的内容。比如要研究吸烟是否有害健康,不能让测试对象吸烟,但是可以筛选社会上其他条件相当的两个人群,唯一的区别是吸烟与否。

自然实验:利用研究对象人群由于法律制度变更、自然灾害等“外生冲击”的影响而自然分成受影响组(干预组)和不受影响组(对照组)的现象,来验证因果关系。

最差的是回归分析,即没有试验设计,只是通过数据分析挖掘,尽可能寻找关系,因为社会实验中的变量太复杂,很难做到随机、对照,所以可信度相对较弱。

证据的金字塔.jpg

因果推理的五个步骤 (又是一个checklist)

<font color=red>因果推理的五个步骤,其实就是最初的“三个要素”和“随机对照试验”的结合。</font>
首先要明确分析谁与谁的因果关系,然后询问三个要点(三种常见的因果推断错误),如果没有异常,就需要进行进一步的实验设计。
实验设计的关键就是“随机对照试验”,其中设计“反事实”(反向思考),也就是创建“随机对照试验”的“对照组“!
最后进行比较,不要忘了,“分析的本质是比较”。

这本书将因果推理总结为五个步骤:
1.“原因”是什么
2.“结果”是什么
3.确认三个要点 【checklist】
4.制造反事实 【反向思考】
5.调整到可比较的状态 【随机对照】

更新记录:
2020年年初 读完本书
2020-04-02 重读参考读书笔记,整理本文框架
2020-04-12 补充内容,复制粘贴,发出本文。等读完《为什么》再重读更新本读书笔记
2021-9-26 上下班通勤地铁,重读本书,花了大约两三天的时间
2021-9-29 更新博文 转自《原因与结果的经济学》读书笔记——因果推理 – Zero | 吴玉昆的个人主页

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,723评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,485评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,998评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,323评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,355评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,079评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,389评论 3 400
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,019评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,519评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,971评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,100评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,738评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,293评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,289评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,517评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,547评论 2 354
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,834评论 2 345

推荐阅读更多精彩内容