概率论基本知识回顾概率论中与信息度量有关的基本概念和知识，以备学习和查阅。样本空间与随机事件随机试验：随机性是一种物理现象，一般通过试验结果来呈现和观察。由于试验结果不可预测，此类试验特称为随机试验，通常用字母E表示。样本空间：已知集合就是一次随机试验可能呈现的所有结果，称为样本空间，记为Ω。条件概率在事件 A 已经发生的条件下，事件 B 发生的概率，称为 B 对 A 的条件概率，记为 p(B|A)。特别地，当事件 A 和事件 B 相互独立时，即无论事件 A 是否发生，事件 B 发生的概率不变，有p(B|A)联合概率事件A和事件B同时发生的概率称为联合概率，记为p(AB)，且有p(AB)=p(A)p(B|A)=p(B)p(A|B)p(B|A)=p(AB)/p(A)=(p(B)p(A|B))/p(A)完全事件组全概率公式贝叶斯公式后验概率贝叶斯公式所计算的概率就是后验概率先验概率先验概率是指某一事件 B 本身所具有的随机性程度，是不依赖其他事件而得到的一个统计量；后验概率正好相反，需要根据其他事件的发生情况来推测事件 B 的分布，是一个条件概率。离散随机变量离散随机变量取值为有限个，或者无限但可数，这样的随机变量称为离散随机变量。离散随机变量的统计特性离散随机变量 X 的概率分布 p(x) 描述了随机变量取某一具体值时的随机性，但在实际应用中更关心的是群体的平均分布情况。对于离散随机变量而言，常用的统计特性有数学期望及其函数的数学期望。数学期望离散随机变量 X 的数学期望就是 X 可能取值的加权平均，其加权权重就是对应的概率。（加权平均：增大集中影响）信息随机变量的数学期望X 是离散随机变量，Y 的取值与 X 有关，因此 Y 也是离散随机变量，其数学期望 E[Y] 与离散随机变量 X 有关。信息度量方法的引入(1) 越不可能的消息，包含的信息量越多。(2) 确定无疑的消息，包含的信息量为零。(3) 消息发生的概率越大，信息量越少；反之亦然。(1) 信息量是随机事件概率的严格递减函数。即发生概率越小，事件发生的不确定性越大，则所包含的信息量越多。(2) 极限情况下，若随机事件发生的概率为1，则事件所包含的信息量为0；若随机事件发生的概率为0时，则事件所包含的信息量为无穷大。(3) 若两个不同的随机事件相互独立，则这两个事件所包含的信息量应该是单个随机变量所包含信息量的和，即信息量应该满足可加性。自信息量和信息熵1.自信息量的定义2.自信息的单位与换算a=2：单位定义为比特(bit)，工程上常用此单位。a=3：单位定义为tit，不常用。a=e：单位定义为奈特(nat)，理论推导时常用（注：\mathrm{e}为自然常数）。a=10，单位定义为笛特（det）或者哈特（hart），不常用。3.自信息量含义(1)发生前事件的不确定性。必然发生的事件，自信息量为零，没有不确定性。自信息量越小，发生概率越大，预测事件越发困难，事件的不确定性越大，反之亦然。(2)发生后事件提供的信息量。就通信系统而言，自信息量是信源通过随机事件（消息）要传递给信宿的信息量。必然发生的消息，信宿无须信源传递而自知，此类消息所提供的信息量为零；发生概率越小，信宿越感意外，所传递的信息量越多，反之亦然。(3)信息论中的自信息量概念与日常生活中的信息概念有较大差别。信息论中的自信息量概念实际是信息表示、传输和恢复时对消息不确定性的要求，与消息或者随机事件本身的含义或内容无关；而日常生活中的信息概念，则是消息所要表达的内容或含义。(4)自信息量只与随机性有关。随机性相同的两则消息，自信息量相同，而与其含义无关。
概率论基本知识回顾概率论中与信息度量有关的基本概念和知识，以备学习和查阅。样本空间与随机事件随机试验：随机性是一种物理现象，一般通过试验结果来呈现和观察。由于试验结果不可预测，此类试验特称为随机试验，通常用字母E表示。样本空间：已知集合就是一次随机试验可能呈现的所有结果，称为样本空间，记为Ω。条件概率在事件 A 已经发生的条件下，事件 B 发生的概率，称为 B 对 A 的条件概率，记为 p(B|A)。特别地，当事件 A 和事件 B 相互独立时，即无论事件 A 是否发生，事件 B 发生的概率不变，有p(B|A)联合概率事件A和事件B同时发生的概率称为联合概率，记为p(AB)，且有p(AB)=p(A)p(B|A)=p(B)p(A|B)p(B|A)=p(AB)/p(A)=(p(B)p(A|B))/p(A)完全事件组全概率公式贝叶斯公式后验概率贝叶斯公式所计算的概率就是后验概率先验概率先验概率是指某一事件 B 本身所具有的随机性程度，是不依赖其他事件而得到的一个统计量；后验概率正好相反，需要根据其他事件的发生情况来推测事件 B 的分布，是一个条件概率。离散随机变量离散随机变量取值为有限个，或者无限但可数，这样的随机变量称为离散随机变量。离散随机变量的统计特性离散随机变量 X 的概率分布 p(x) 描述了随机变量取某一具体值时的随机性，但在实际应用中更关心的是群体的平均分布情况。对于离散随机变量而言，常用的统计特性有数学期望及其函数的数学期望。数学期望离散随机变量 X 的数学期望就是 X 可能取值的加权平均，其加权权重就是对应的概率。（加权平均：增大集中影响）信息随机变量的数学期望X 是离散随机变量，Y 的取值与 X 有关，因此 Y 也是离散随机变量，其数学期望 E[Y] 与离散随机变量 X 有关。信息度量方法的引入(1) 越不可能的消息，包含的信息量越多。(2) 确定无疑的消息，包含的信息量为零。(3) 消息发生的概率越大，信息量越少；反之亦然。(1) 信息量是随机事件概率的严格递减函数。即发生概率越小，事件发生的不确定性越大，则所包含的信息量越多。(2) 极限情况下，若随机事件发生的概率为1，则事件所包含的信息量为0；若随机事件发生的概率为0时，则事件所包含的信息量为无穷大。(3) 若两个不同的随机事件相互独立，则这两个事件所包含的信息量应该是单个随机变量所包含信息量的和，即信息量应该满足可加性。自信息量和信息熵1.自信息量的定义2.自信息的单位与换算a=2：单位定义为比特(bit)，工程上常用此单位。a=3：单位定义为tit，不常用。a=e：单位定义为奈特(nat)，理论推导时常用（注：\mathrm{e}为自然常数）。a=10，单位定义为笛特（det）或者哈特（hart），不常用。3.自信息量含义(1)发生前事件的不确定性。必然发生的事件，自信息量为零，没有不确定性。自信息量越小，发生概率越大，预测事件越发困难，事件的不确定性越大，反之亦然。(2)发生后事件提供的信息量。就通信系统而言，自信息量是信源通过随机事件（消息）要传递给信宿的信息量。必然发生的消息，信宿无须信源传递而自知，此类消息所提供的信息量为零；发生概率越小，信宿越感意外，所传递的信息量越多，反之亦然。(3)信息论中的自信息量概念与日常生活中的信息概念有较大差别。信息论中的自信息量概念实际是信息表示、传输和恢复时对消息不确定性的要求，与消息或者随机事件本身的含义或内容无关；而日常生活中的信息概念，则是消息所要表达的内容或含义。(4)自信息量只与随机性有关。随机性相同的两则消息，自信息量相同，而与其含义无关。