Hypotheses and significance tests
7.01 Hypotheses
假设
什么是假设?
假定一个总体的参数落在某个值上或者某个范围内，这个值在原有学习和研究的基础上得到的。
我们使用Significance testing(显著性检验)来对样本进行分析来判断这个值是否正确.
显著性假设是通过推断分析(比如置信区间)来实现：通过样本数据来画出总体的置信区间。
假设分 null hypotheses（H0零假设） 和 alternative hypotheses(备择假设 Ha)
零假设是指某个特定的值，它和我们期望的值是相悖的；而备择假设是某个范围，它和零假设是互斥的.
显著性检验是假定零假设为真，除非你的数据提供了明显的反对证明.
以法庭为例: 证明被告无罪是零假设，有罪是备择假设。我们要证明被告有罪，必须要有强有力的证据证明反对被告无罪。（先要证明零假设不成立）
一般的场景都是先有备择假设(研究者有一个值范围)，然后我们提出一个对立的零假设，然后证明它是不成立的。
最后注意:
我们使用显著性检验的方法始终是假设零假设为真，而不是证明备择假设是否成立.
重要:证明备择假设不成立，并不意味着零假设成立. 同样以法庭为例: 我们不能证明被告有罪，并不能就判定被告无罪.
7.02 Test about proportion
检验比例
test statistic(检定统计量): The number of standard error(标准误差的数量).
使用以上公式可以检验某个零假设是否在显著区域内，在显著区域内，表示该显著级别内零假设成立，反之可以推翻零假设
算出了检定统计量后，通过在z-table中查找对应的概率p-value，判断其是否在显著性水平(significance level)范围内
p-value: z值在 z-table中对应的几率
significance level: 若significance level = 0.01, 表示在这个p-value在0.01之外的区域是reject的
reject region: 在significance level之外的区域
最后注意:
反驳区域分单头和双头,最终的结果也是不一样的，见图
影响显著性检验结果的条件有两个:
-
单头还是双头
大部分都是双头的
-
显著性水平
默认的显著性级别是0.05
7.03 Test about mean
平均值的显著性检验
思想同7.02, 公式同置信区间一样不同
计算出检定统计量后在t_table(因为我们使用是样本的标准差，引入了标准误差)中查找对应的概率，然后再判断概率是否在显著性水平之内还是之外。
同样影响它的结果的条件有2个:
- 单头还是双头
- 显著性水平
Step-by-step plan and confidence interval
7.04 Step-by-step plan
一步一步计划
要实现一个显著性检验，按如下步骤进行
Proportion or mean ? 比例还是平均值
-
规划假设
-
Proportion
H0:
=
Ha:
-
mean
H0:
=
Ha:
-
-
检查假定满足条件
-
propotion
randomization
n
n(1-
-
mean
randomization
总体的分布接近正态分布(如果n的值比较小则进行单头检验)
-
选定显著性水平
,通常是0.05
计算检定统计量(terst statistic)
-
画出抽样分布图
画出推翻区域的值和关键点
找到检定统计量的位置
判断是否reject H0（推翻零假设）
描述我们的检验结果
7.05 Significance test and confidence interval
显著性检验和置信区间
它们2个方法不同，但是在数学表达上有联系
在相同置信水平95%和显著性水平0.05下，若零假设在置信区间内，则表示零假设不能被推翻
7.06 Type I and Type II errors
I型错误和II型错误
产生2种错误的原因是由于显著水平的存在
| 实际 | 不推翻 | 推翻 |
|---|---|---|
| H0 为true | yes | I型错误: |
| H0 为false | II型错误: |
yes |
减少显著性水平 -> 减少犯I型错误的机会 ->增加犯II型错误的机会
我们往往不知道真实的结果(H0为真还是为假),但是我们可以通过控制错误决策的概率(通过power值的设定)
