协方差函数计算公式推导过程 必备:协方差通俗理解例子

大家好,今天诗婷为大家带来一些关于协方差函数计算公式推导过程,协方差通俗理解例子的简短分享,这里提供了协方差,函数,方差相关问题的完整解答,经年累月的实践让我深刻认识到了这个问题的关键点,我会在这篇文章中细致地向你讲解。

今天是概率统计专题的第六篇,我们来看看方差相关的概念。

方差的定义

方差在我们的日常生活当中非常常见,它主要是为了提供样本离群程度的描述。举个简单的例子,我们去买一包薯片,一般来说一袋薯片当中的数量是固定的。我们假设平均每袋当中都有50片薯片好了,即使是机器灌装,也不可能做到每一袋都刚好是50片,或多或少都会有些误差。而均值则无法衡量这种误差。

如果现在有两个薯片品牌,它们的口味都差不多,平均每袋也都是50片。但是其中A品牌的薯片有一半是80片,还有一半是20片。B品牌呢,99%都在45-55之间。你说你会买哪一个牌子呢?(在不考虑通过称重的情况下)。

在现代社会,凡是工厂出厂的产品,基本上都离不开方差这个概念。方差越低,说明工厂的生产能力越强,能够做到每一个产品都很精细,相反如果方差越大,则说明瑕疵很多,不够精细。也就是说,方差衡量的是样本距离均值的期望。

它本来应该写成:E|X – E(X)|。

但是由于式子当中存在绝对值,我们通常会对它平方,从而将绝对值消掉。写成:

协方差函数计算公式推导过程,协方差通俗理解例子

这里的E表示期望,这是统计学当中的写法,如果看不明白,我们也可以把式子展开写成:

协方差函数计算公式推导过程,协方差通俗理解例子

这里的N表示的是样本数量,X bar 是样本的均值。Var是英文variance的缩写,我们也可以写成D(X)。

由于方差是通过平方计算得到的,我们也可以将它进行开方,得到标准差。根号D(X),也可以写成σ(X)。

方差的性质

关于方差有几个著名的性质,如果X是变量,而C是常数。那么:

协方差函数计算公式推导过程,协方差通俗理解例子

也就是对于每一个变量都乘上一个常数,那么整体的方差扩大C的平方倍。这个很好理解,因为样本值扩大了C倍,由于我们在计算方差的时候用到了平方,那么自然就是扩大了C的平方倍。我们利用上面展开的公式代入可以很容易得到证明。

下一个性质是:

协方差函数计算公式推导过程,协方差通俗理解例子

也就是全体样本加上一个常数,整体的方差不变。如果我们的样本不是一个值,而是一个向量的话,那么这个公式可以拓展成样本加上一个常数向量,样本的方差保持不变。这个也很好理解,样本加上一个常数向量,相当于整体朝着向量的方向移动了一个距离,对于整体的分布并不会影响

如果某个样本X的方差为0,那么说明样本内只有一个值。

下面一个性质稍微复杂一点:

协方差函数计算公式推导过程,协方差通俗理解例子

也就是说方差等于样本平方的期望减去样本期望的平方,我们光从定义上很难得出这个结论,需要通过严谨的推导:

协方差函数计算公式推导过程,协方差通俗理解例子

在有些时候,我们直接求解样本的方差不太方便,而求解平方的期望很容易,这个时候我们可以考虑使用这个公式进行代换。

方差与协方差

方差我们一般不直接在机器学习当中进行使用,更多的时候是用在特征分析当中,查看特征的方差来感知它的离散情况,决定要不要对特征进行一些处理。因为对于一些模型来说,如果特征的方差过大,那么模型可能很难收敛,或者是收敛的效果可能会受到影响。这个时候往往需要考虑使用一些方法对特征值进行标准化处理。

除了方差之外,还有一个类似的概念也经常被用到,就是用来衡量两个变量之间相关性的协方差。

协方差的公式其实和方差也有脱不开的关系,我们先来简单推导一下。

首先,我们来看一下D(X+Y),这里X和Y是两个变量,D(X+Y)就表示X+Y的方差,我们来看下D(X+Y)和D(X)和D(Y)之间的关系。

我们可以来推导一下,根据方差的定义:

协方差函数计算公式推导过程,协方差通俗理解例子

这里的N是一个常量,我们可以忽略,只用来看分子即可。我们把式子展开:

协方差函数计算公式推导过程,协方差通俗理解例子

我们看下上面化简之后的结果:

协方差函数计算公式推导过程,协方差通俗理解例子

在这个式子当中D(X), D(Y)都是固定的,并不会随XY是否相关而发生变化。但是后面一项不是,它和XY的相关性有关。

我们可以用这一项来反应X和Y之间的相关性,这就是协方差的公式:

协方差函数计算公式推导过程,协方差通俗理解例子

所以协方差反应的不是变量的离散和分布情况,而是两个变量之间的相关性。到这里,我们可能还不太看得清楚,没有关系,我们再对它做一个简单的变形,将它除以两者的标准差:

协方差函数计算公式推导过程,协方差通俗理解例子

这个形式已经非常像是两个向量夹角的余弦值,它就是大名鼎鼎的皮尔逊值。皮尔逊值和余弦值类似,可以反映两个分布之间的相关性,如果p值大于0,说明两组变量成正相关,否则则成负相关。我们可以通过计算证明p值是一个位于-1到1之间的数。

如果p值等于0,说明X和Y完全独立,没有任何相关性。如果p值等于1,说明可以找到相应的系数W和b使得Y = WX+b。

结尾

在机器学习领域当中,计算两组变量之间的相关性非常重要。因为本质上来机器学习的模型做的就是通过挖掘特征和预测值之间的相关性来完成预测,如果某一组特征和预测值之间是完全独立的,那么它对于模型来说就是无用的,无论我们选择什么样的模型都是如此。

所以,我们经常会通过分析特征和label之间的皮尔逊值来衡量特征的重要程度,从而对特征进行取舍和再加工。如果单纯只看皮尔逊值和它的公式,很难完全理解和记住,而我们从方差入手,将整个链路梳理了一遍,则要容易得多,即使以后忘记了,也可以根据它们之间的关系重新推导。

这里就是这篇文章的全部信息了,我真心希望这些信息可以对你们有所帮助,如果你觉得协方差函数计算公式推导过程 必备:协方差通俗理解例子这篇文章不错的话,可以添加益智储到收藏夹,方便随时学习!

本文发布者:大仙姑,不代表益智储立场,转载请注明出处:https://www.yizhichu.com/p/12071.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 jubao226688#126.com 举报,一经查实,本站将立刻删除。

(0)
上一篇 2023年6月27日 14:00
下一篇 2023年6月27日 14:21

相关推荐

  • 交通安全标志牌图片大全 附:道路交通警示标识牌合集

    褚小旭最近收到很多人对于交通安全标志牌图片大全,道路交通警示标识牌合集的咨询,今天来为大家解答一二,想要了解更多交通安全,道路交通,大全相关知识,这里有不少内容可供参考,希望你认真阅读完这篇文章,把我的想表达的思路完全理解,相信你很快就可以掌握! 交通安全知识:交通安全标志大全及图解! 在我们行车过程当中,有很多的交通标示,稍不留意,就会面临罚款扣分,总结了…

    2023年11月5日 随意记录
  • 诸葛亮的性格特点 实用:诸葛亮的八个经典故事

    大家好,孙宇麟今天给大家带来一些有关诸葛亮的性格特点,诸葛亮的八个经典故事的分享。汇聚了丰富的性格特点,故事,经典干货,让你轻松掌握最新技能,基于我的经验,我希望用这篇文章把我独特的思路和见解分享给你。 喜欢《三国演义》的朋友大多觉得司马懿败给了诸葛亮,实则不然。 不论是智商还是谋略,诸葛亮都稳压司马懿一头,他不但能用一座空城将司马懿忽悠得云里雾里,就算是死…

    2023年8月17日 随意记录
  • 辛亥革命是什么时候发生的-辛亥革命持续了多长时间

    Hi,大家好,周璞想和大家分享一些有关辛亥革命是什么时候发生的,辛亥革命持续了多长时间的灵感前所未有,还有关于发生,时候,资产阶级这些的内容,这篇文章主要是想给大家提供一个思路,也是经过一系列总结过的哈! 1911年10月10日,辛亥革命爆发,这次革命结束了中国长达两千年之久的君主专制制度,是一次伟大的革命运动。辛亥革命是近代中国比较完全意义上的资产阶级民主…

    2023年7月25日
  • 车原地不熄火8小时伤车吗 附:停车后忘记熄火影响大吗

    Hello,陈冠延作为您的助手,希望能和大家分享一些关于车原地不熄火8小时伤车吗,停车后忘记熄火影响大吗的实用信息,汇聚了丰富的车子,原地,小时干货,让你轻松掌握最新技能,思路很重要,我整理的这篇文章对你一定会有帮助。 停车后忘记熄火,发动机运行了一晚上,对车子有多大伤害! 今天早上很早很早就有一个朋友给打电话,他昨天下班回来之后车子忘记熄火了,等早上上班去…

    2023年5月12日 随意记录
  • 僵尸真的存在吗 优选:中国哪里出现过僵尸

    小伙伴们大家好,今天韩缨罂和大家深入浅出地聊一聊僵尸真的存在吗,中国哪里出现过僵尸的问题,还有僵尸,存在,死者相关的各种内容,希望大家认真阅读,只有这样才能真正理解和掌握哦! 僵尸是一种源于明清时代的民间传说的鬼怪,特指人死后因为尸体阴气过重而变成的鬼怪。僵尸通常是四肢僵硬,头不低,眼不斜,腿不分,不腐烂的尸体。它们毫无人性,丧失理智,因死不瞑目而怨气聚喉,…

    2023年9月26日 随意记录
  • 小米老人模式怎么设置 必懂:小米手机的老人模式设置方法

    很高兴和大家见面,赵鑫凯今天和大家一起探讨小米老人模式怎么设置,小米手机的老人模式设置方法这个话题。不要错过这里的小米,老人,模式精品干货,帮你成为行业精英。记住,思路决定出路,希望我的这篇文章能为你找到更加有效的思路。 其实对于当下的千元机而言,由于厂商竞争激励,现在很多机型都具备相当不错的品质,因此也引得不少消费者为长辈购机的时候抛弃百元机,转而考虑千元…

    2023年6月15日 随意记录