概率
概率通常理解为衡量事件发生的可能性大小，但是不严谨。拿投骰子举例，投一次骰子，称作一次试验，所有可能的试验结果就称为样本空间，事件就是样本空间的子集。
概率是赋予事件的一个实数，通常记为P（A），即P（A）是一个函数，这个函数满足三个条件:
(1)非负性：P（A）>=0；
(2)规范性：对于必然事件来说，P（A）=1；
(3)可列可加性：对于两个不相容的事件来说，有 P(A并B)=P(A)+ P(B)
概率是赋予事件的一个实数，这个定义可以说是概率的本质特征，但是没有给出概率的具体数值。
为了给出一个具体的数值，设N为试验次数，N（A）是事件A发生的次数，当N趋向于无穷大时，P（A）=N（A）/N ;这个定义是符合概率的三条性质的。
在解决问题时，我们还要分清楚概率是经验数据得到的结果还是逻辑推理得到的结果。例如：
(1)如果把一枚偏心的骰子投1000次，有200次出现5点，那么5点发生的概率是0.2；
这个概率结果就是一个由经验数据得出的结果。
(2)如果骰子是均匀的，由于对称性，得出5点的概率是1/6;
而这一个概率结果由对称性和可列可加性逻辑推出来的就是1/6。
随机变量
随机变量是赋予实验的每一个结果的一个数，记作X（ξ）（对比一下概率的定义哦）
比如你投掷均匀色子的时候，出现偶数你记作1，出现奇数你记作0，那么定义域就是{1,2,3,4,5,6}，值域是{0,1}，这也就说明白了随机变量。
那么P（X=0）=0.5，P（X=1）=0.5。
在接触了随机变量后，也有必要回顾一下联合概率，边缘概率，独立，相关，二元积分，N维高斯的概率分布等概念……
随机过程
随机变量是赋予实验所有可能结果的一个数X（ξ），而随机过程x(t)是赋予每个结果ξ的一个函数X（t,ξ）。
所谓过程，就是引入时间t这一个参量。用大白话来说，随机过程是一个二元函数，在每一时刻，随机过程的值是一个随机变量，相当于在这个时刻时间静止了；在每一个ξ下，随机过程是一个样本函数。
在概率论中，通常研究一个或多个这样有限个数的随机变量，即使在大数定律和中心极限定理中考虑了无穷多个随机变量，但也要假设随机变量之间互相独立。随机过程主要是研究无穷多个互相不独立的、有一定相关关系的随机变量。随机过程就是许多随机变量的集合，代表了某个随机系统随着某个指示向量的变化，这个指示向量常用的是时间向量。
其中指标集合T：通常用的指标集合是代表时间，以实数或整数表示其元素。
以实数形式表示时，随机过程即为连续随机过程；
以整数形式表示时，随机过程即为离散随机过程。
信息论和概率
对比一下概率和熵，概率给出了在单次事件A发生或者不发生这种不确定性的度量，而熵考虑的问题不是某一个事件，而是对S的某个分割U的任何事件Ai发生与否的不确定性赋予测度。什么意思呢？
分割用大白话说，就是把样本空间用刀去分，类似切西瓜，比如还是用投色子为例，你把总的样本空间{1,2,3,4,5,6}划分成{1,2,3；4,5,6}两块，这就是一个分割；当然你也可以{1,2；3,4,5,6}，这是另外一种分割。
互信息是一个随机变量包含另外一个随机变量的信息量。通信最后要达到目的就是能从接收端准确无误恢复出发送信号，也就是通过接收信号来逐步消除不确定性获得关于发送信号的信息。
信息论有多么重要，你自然明白……就目前学习到的内容来说，信息论解答了通信的两个基本问题：
（1）临界数据压缩的值，即熵H；第三章讲信源编码，当使用霍夫曼编码，L长度趋向无穷大时，平均码长度接近信源熵。
（2）临界通信传输速率的值，即信道容量C，也就是第四章信道容量的内容。
该书内容包括有：随机变量，随机过程，排队论，马尔科夫过程，熵，编码，检测与估计，谱估计，随机游动，谱应用等等。
概率论与数理统计：https://www.cnblogs.com/wanghui626/p/6817359.html
大数定律：大量样本数据的均值（样本值之和除以样本个数），近似于随机变量的期望（标准概率*样本次数）。（样本（部分）趋近于总体）
中心极限定理：大量样本数据的均值（或者样本和\众数、极差等等，或者任意的非正态的分布都可以）的频率分布，服从正态分布（样本越大，越吻合正态分布）。
大数定律研究的是在什么条件下，这组数据依概率收敛于他们的均值。
中心极限定理研究的是在什么条件下，这些样本依分布收敛于正太分布。
依概率收敛就是强收敛，随机过程中成为强平稳。
依分布收敛就是弱收敛，随机过程中成为弱平稳。
概率的解释有两种观点，一种是频率观点，一种是贝叶斯观点。
比如说，抛硬币，正面的概率是0.5。
可以解释为，经过大量的实验后发现，抛硬币正面朝上的频率为0.5。
也可以解释为，下一次抛硬币，正面朝上的概率为0.5。
