方差是什么意思以及怎么算?

方差是什么意思以及怎么算?

信号处理中,方差代表交流功率,即去除直流分量的功率。在概率论和统计学中,方差是随机变量平均值的平方偏差(the squared deviation from the mean of a random variable)。

一起温习下基础知识~

在概率论和统计学中,方差是随机变量平均值的平方偏差。 方差通常也定义为标准差的平方。 方差是分散度的度量,这意味着它是一组数字与其平均值的分散程度的度量。 它是分布的二阶中心矩,是随机变量与其自身的协方差,通常用下式表示:。

方差作为分散度度量的优点是,它比其他分散度度量(例如预期绝对偏差)更适合代数运算; 例如,不相关的随机变量之和的方差等于它们的方差之和。 实际应用中方差的一个缺点是,与标准差不同,它的单位与随机变量不同,这就是为什么标准差在计算完成后更常被确认为离散度的度量。

有两个不同的概念,都称为“方差”。 如上所述,其中之一是理论概率分布的一部分,由方程定义。 另一个方差是一组观察值的特征。 当根据观察值计算方差时,这些观察值通常是从现实世界系统中测量的。 如果系统所有可能的观测值都存在,则计算出的方差称为总体方差。 然而,通常只有一个子集可用,由此计算出的方差称为样本方差。 从样本计算出的方差被认为是总体方差的估计。 有多种方法可以计算总体方差的估计值,后面将会介绍。

这两种方差密切相关。 要了解如何实现,请考虑理论概率分布可以用作假设观察的生成器。 如果使用分布生成无限数量的观测值,则根据该无限集计算的样本方差将与使用分布方差方程计算的值相匹配。 方差在统计学中起着核心作用,其中使用它的一些想法包括描述性统计、统计推断、假设检验、拟合优度和蒙特卡罗抽样。

来自具有相同均值但不同方差的两个总体的样本示例。 红色总体的平均值为 100,方差为 100 (SD=10),而蓝色总体的平均值为 100,方差为 2500 (SD=50)。

方差一词最初由 Ronald Fisher 在其 1918 年论文《基于孟德尔遗传假设的亲属之间的相关性》中首次引入。

罗纳德·艾尔默·费舍尔爵士 FRS1890 年 2 月 17 日至 1962 年 7 月 29 日)是一位英国博学者,活跃的数学家、统计学家、生物学家、遗传学家和学者。 由于他在统计学方面的工作,他被描述为“一位几乎凭一己之力奠定了现代统计科学基础的天才”和“20 世纪统计学中最重要的人物”。在遗传学方面,他的工作利用数学将孟德尔遗传学和自然选择结合起来。 这有助于达尔文主义在20世纪初对进化论的修订(被称为现代综合)中的复兴。 由于费舍尔对生物学的贡献,被称为“达尔文最伟大的继承者”。

美颜功能很强大啊~~

1913 年至 1919 年间,费舍尔在伦敦金融城担任统计学家,并在一系列公立学校、泰晤士航海培训学院和布拉德菲尔德学院教授物理和数学。 他与新婚妻子艾琳·吉尼斯 (Eileen Guinness) 在那里定居,并育有两个儿子和六个女儿。

1918年,他发表了《孟德尔遗传假设上的亲属之间的相关性》,其中引入了方差一词并提出了其形式分析。 他提出了一个遗传学概念模型,表明生物统计学家测量的表型性状之间的连续变异可能是由许多离散基因的联合作用产生的,因此是孟德尔遗传的结果。 这是建立群体遗传学和数量遗传学的第一步,证明自然选择可以改变群体中的等位基因频率,使其不连续性与渐进进化相协调。 费舍尔的传记作者兼女儿琼·博克斯 (Joan Box) 表示,费舍尔早在 1911 年就已经解决了这个问题。 如今,费舍尔的加法模型仍然经常用于全基因组关联研究。

费舍尔还因以下方面而闻名:

线性判别分析是 Fisher 线性判别式的推广; Fisher 信息,另请参阅评分算法(也称为 Fisher 评分)和最小 Fisher 信息,这是一种变分原理,当应用重现经验已知期望值所需的适当约束时,可确定表征系统的最佳概率分布; F 分布经常作为检验统计量的零分布出现,尤其是在方差分析中;Fisher-Tippett-Gnedenko 定理:Fisher 在 1927 年对此做出了贡献; 费希尔-蒂皮特分布;Fisher-Yates 洗牌算法; 冯·米塞斯-费舍尔分布; 逆概率,费舍尔在 1922 年使用的一个术语,指的是“逆概率的基本悖论”,这是统计术语之间混淆的根源,这些术语指的是要估计的真实值,与通过估计得出的实际值,而实际值可能会出现错误; Fisher 排列检验; 费舍尔不等式;充分的统计量,当统计量对于统计模型及其相关的未知参数来说是足够的,如果“没有其他可以从同一样本计算的统计量提供有关参数值的任何附加信息”;费舍尔非中心超几何分布是超几何分布的推广,其中采样概率由权重因子修改;学生 t 分布,广泛应用于统计;辅助统计的概念以及应以辅助统计为条件的概念。

罗纳德·费舍尔 (Ronald Fisher) 1912 年在剑桥大学毕业:

一个牛X的人物。

随机变量 X 的方差是 X 平均值的平方偏差的期望值: 该定义包含由离散、连续、非连续或混合过程生成的随机变量。 方差也可以被认为是随机变量与其自身的协方差: 方差的表达式可以展开如下: 换句话说,X 的方差等于 X 的平方均值减去 X 均值的平方。该方程不应用于使用浮点运算的计算,因为如果方程的两个分量大小相似,它会遭受灾难性抵消。

任意分布 (2, 4, 4, 4, 5, 5, 7, 9) 方差的几何可视化 :1. 构建频率分布;2. 分布的质心给出了它的平均值;3.为每个值形成一个正方形,其边长等于每个值与平均值的差; 4. 将正方形排列成一个矩形,其一侧等于值的数量 n,导致另一侧为分布方差 σ2。

如果随机变量X的生成器是离散的概率质量函数产生,,则有 注意:当这种离散加权方差由总和不为 1 的权重指定时,则除以权重总和。

一组 n 个同样可能的值的方差可以等效地表示为点彼此之间的所有成对平方距离的平方偏差,而无需直接参考平均值:

概率质量函数图。 该函数的所有值必须为非负数且总和为 1。

假设随机变量X的概率密度函数为,对应的累积分布函数为,则有: 等价于:

正态分布 N(0, σ2) 的箱线图和概率密度函数:

指数分布的累积分布函数:

正态分布的累积分布函数:

参数为 λ 的指数分布是连续分布,其概率密度函数由下式给出: 均值为 使用分部积分并利用已经计算出的期望值,我们有: 因此,X 的方差由下式给出:

指数分布的概率密度函数图:

公平的六面骰子可以建模为离散随机变量 X,结果为 1 到 6,每个结果的概率为 1/6。四个传统骰子显示出所有六个不同的面。

公平骰子的概率质量函数。 当骰子停止滚动时,骰子上的所有数字都有相同的机会出现在顶部。

均值为 则其方差为 n 面骰子的结果方差 X 的一般公式为

下表列出了一些常用概率分布的方差。

现实世界的观测(例如昨天全天降雨的测量)通常不可能是所有可能观测的完整集合。 因此,根据有限集计算的方差通常与根据可能观测值的全部群体计算的方差不匹配。 这意味着可以使用估计方程来估计一组有限观测值的均值和方差。 估计量是从整个潜在观测值总体中抽取的、没有观测偏差的 n 个观测值样本的函数。

一般来说,大小为 N、值为 xi 的有限总体的总体方差由下式给出 其中: 总体方差也可以使用以下方法计算: 证明如下: 总体方差与生成概率分布的方差相匹配。 从这个意义上讲,总体的概念可以扩展到具有无限总体的连续随机变量。

在许多实际情况中,总体的真实方差并不是先验已知的,必须以某种方式计算。 当处理非常大的总体时,不可能对总体中的每个对象进行计数,因此必须对总体样本进行计算。这通常称为样本方差或经验方差。 样本方差还可以应用于根据连续分布的样本估计该分布的方差。

我们从总体中抽取一个样本,替换 n 个值 Y1, ..., Yn,其中 n < N,并根据该样本估计方差。直接取样本数据的方差即可得出偏差平方的平均值: 其中: 计算方差的均值如下: 由于有系数存在,故为有偏估计。

纠正这种偏差会产生无偏样本方差,表示为 相同的证明也适用于从连续概率分布中获取的样本。n − 1 项的使用称为贝塞尔校正,它也用于样本协方差和样本标准差(方差的平方根)。 平方根是凹函数,因此会引入负偏差(通过詹森不等式),这取决于分布,因此校正后的样本标准差(使用贝塞尔校正)是有偏差的。

作为随机变量的函数,样本方差本身就是一个随机变量,研究它的分布是很自然的。 在 Yi 是正态分布的独立观测值的情况下,科克伦定理表明 遵循缩放卡方分布: 其直接后果是

如果 Yi 独立同分布,但不一定正态分布,则 如果大数定律的条件适用于观测值的平方,则 是 的一致估计量。 人们确实可以看到估计量的方差渐近趋于零。

当 yi 呈独立正态分布时,对于 ν = n − 1 的各种值, 的分布和累积分布分别如下:

磨磨唧唧整了这么多,概率论中内容都是好东西,实际工作中应用很多。一定要理解每个公式的含义。

二维正态分布的标准差椭圆(绿色):

【1】维基百科

【2】谷歌翻译