首頁手記概率論06 連續分布

概率論06 連續分布

標簽：

機器學習

在随机变量中，我提到了连续随机变量。相对于离散随机变量，连续随机变量可以在一个连续区间内取值。比如一个均匀分布，从0到1的区间内取值。一个区间内包含了无穷多个实数，连续随机变量的取值就有无穷多个可能。

为了表示连续随机变量的概率分布，我们可以使用累积分布函数或者密度函数。密度函数是对累积分布函数的微分。连续随机变量在某个区间内的概率可以使用累积分布函数相减获得，即密度函数在相应区间的积分。

在随机变量中，我们了解了一种连续分布，即均匀分布(uniform distribution)。这里将罗列一些其他的经典连续分布。

指数分布

指数分布(exponential distribution)的密度函数随着取值的变大而指数减小。指数分布的密度函数为:

$f (x) = {\begin{array}{rcl} λ e^{- λ x} & i f & x \geq 0 \\ 0 & i f & x < 0 \end{array}$

$f(x) = \left\{ \begin{array}{rcl} \lambda e^{-\lambda x} & if & x \ge 0 \\ 0 & if & x < 0 \end{array} \right.累积分布函数为:<mi>F<mo stretchy="false">(<mi>x<mo stretchy="false">)<mo>=<mn>1<mo>−<msup><mi>e<mrow class="MJX-TeXAtom-ORD"><mo>−<mi>λ<mi>x<mo>,<mi>x<mo>≥<mn>0" tabindex="0" id="MathJax-Element-2-Frame" class="MathJax">F(x)=1−e−λx,x≥0<math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><mi>F<mo stretchy="false">(<mi>x<mo stretchy="false">)<mo>=<mn>1<mo>−<msup><mi>e<mrow class="MJX-TeXAtom-ORD"><mo>−<mi>λ<mi>x<mo>,<mi>x<mo>≥<mn>0<script id="MathJax-Element-2" type="math/tex; mode=display">F(x) = 1 - e^{-\lambda x}, x \ge 0 我们绘制一个指数分布<mi>λ<mo>=<mn>0.2" tabindex="0" id="MathJax-Element-3-Frame" class="MathJax">λ=0.2<math xmlns="http://www.w3.org/1998/Math/MathML"><mi>λ<mo>=<mn>0.2<script id="MathJax-Element-3" type="math/tex">\lambda = 0.2，如下:<img class="lazyload" src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAAAXNSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAAAJcEhZcwAADsQAAA7EAZUrDhsAAAANSURBVBhXYzh8+PB/AAffA0nNPuCLAAAAAElFTkSuQmCC" data-original="https://img2.sycdn.imooc.com/images/unknow-80.png" alt="" height="336" width="448">这样一种分布在生活中很常见。比如，洪水等级的分布就类似于这样一个分布。小等级的洪水常发生，而大洪水发生的概率则很小。再比如，金矿的分布：大部分矿石的含金量少，而少部分矿石的含金量高。这提醒我们，一些特殊的条件导致了指数分布。感兴趣的话可以学习“随机过程”这一数学分支。代码如下:<img class="lazyload" src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAAAXNSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAAAJcEhZcwAADsQAAA7EAZUrDhsAAAANSURBVBhXYzh8+PB/AAffA0nNPuCLAAAAAElFTkSuQmCC" data-original="https://img2.sycdn.imooc.com/5acf019b000151e400200020.jpg" alt="复制代码"><pre>from scipy.stats import exponimport numpy as npimport matplotlib.pyplot as pltrv = expon(scale = 5)x = np.linspace(0, 20, 100)plt.plot(x, rv.pdf(x))plt.xlim([0, 15])plt.title("exponential distribution")plt.xlabel("RV")plt.ylabel("f(x)")plt.show()<img class="lazyload" src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAAAXNSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAAAJcEhZcwAADsQAAA7EAZUrDhsAAAANSURBVBhXYzh8+PB/AAffA0nNPuCLAAAAAElFTkSuQmCC" data-original="https://img2.sycdn.imooc.com/5acf019b000151e400200020.jpg" alt="复制代码">上面的expon函数接收一个参数scale。参数scale等于<mn>1<mrow class="MJX-TeXAtom-ORD"><mo>/<mi>λ" tabindex="0" id="MathJax-Element-4-Frame" class="MathJax">1/λ<math xmlns="http://www.w3.org/1998/Math/MathML"><mn>1<mrow class="MJX-TeXAtom-ORD"><mo>/<mi>λ<script id="MathJax-Element-4" type="math/tex">1/\lambda 指数分布是无记忆(memoryless)的。我们以原子衰变为例。任意时刻往后，都需要10年的时间，会有一半的原子衰变。已经发生的衰变对后面原子衰变的概率分布无影响。用数学的语言来说，就是 <mi>P<mo stretchy="false">(<mi>X<mo>><mi>s<mo stretchy="false">)<mo>=<mi>P<mo stretchy="false">(<mi>X<mo>><mi>s<mo>+<mi>t<mrow class="MJX-TeXAtom-ORD"><mo stretchy="false">|<mi>X<mo>><mi>t<mo stretchy="false">)<mo>,<mi>f<mi>o<mi>r<mspace width="thinmathspace" /><mi>s<mo>,<mi>t<mo>≥<mn>0" tabindex="0" id="MathJax-Element-5-Frame" class="MathJax">P(X>s)=P(X>s+t|X>t),fors,t≥0<math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><mi>P<mo stretchy="false">(<mi>X<mo>><mi>s<mo stretchy="false">)<mo>=<mi>P<mo stretchy="false">(<mi>X<mo>><mi>s<mo>+<mi>t<mrow class="MJX-TeXAtom-ORD"><mo stretchy="false">|<mi>X<mo>><mi>t<mo stretchy="false">)<mo>,<mi>f<mi>o<mi>r<mspace width="thinmathspace"><mi>s<mo>,<mi>t<mo>≥<mn>0<script id="MathJax-Element-5" type="math/tex; mode=display">P(X > s) = P(X > s+t | X>t), for\, s,t \ge 0等式的左边是原子存活了s的概率。而等式的右边是某一时刻t之后，原子再存活s时间的概率。可以利用指数分布的累积分布函数，很容易的证明上面的等式。指数分布经常用于模拟人的寿命或者电子产品的寿命，这意味着我们同样假设这些分布是无记忆的。一个人活10年的概率和一个人到50岁后，再活10年的概率相等。这样的假设有可能与现实情况有所出入，需要注意。 <h3>正态分布正态分布(normal distribution)是最常用到的概率分布。正态分布又被称为高斯分布(Gauss distribution)，因为高斯在1809年使用该分布来预测星体位置。吐槽一句，第一个提出该分布的并不是数学王子高斯，而是法国人De Moivre。作为统计先驱，这位数学家需要在咖啡馆“坐台”，为赌徒计算概率为生。(看来法国咖啡馆不止有文艺青年，也有技术屌丝啊。)<img class="lazyload" src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAAAXNSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAAAJcEhZcwAADsQAAA7EAZUrDhsAAAANSURBVBhXYzh8+PB/AAffA0nNPuCLAAAAAElFTkSuQmCC" data-original="https://img2.sycdn.imooc.com/images/unknow-80.png" alt="">Abraham De Moivre<img class="lazyload" src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAAAXNSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAAAJcEhZcwAADsQAAA7EAZUrDhsAAAANSURBVBhXYzh8+PB/AAffA0nNPuCLAAAAAElFTkSuQmCC" data-original="https://img1.sycdn.imooc.com/images/unknow-80.png" alt="" height="335" width="262">Gauss正态分布的发现来自于对误差的估计。早期的物理学家发现，在测量中，测量值的分布很有特点：靠近平均值时，概率大；远离平均值时，概率小。比如我们使用尺子去测量同一个物体的长度，重复许多次。如果没有系统误差，那么测量到的长度值是一个符合正态分布的随机变量。再比如，在电子信号中白噪音，也很有可能符合正态分布。De Moivre最早用离散的二项分布来趋近这一分布，而高斯给出了这一分布的具体数学形式。 正态分布自从一出生就带着无比强大的“主角光环”，它的特殊地位在后面文章中的中心极限定理中凸显出来。 正态分布的密度函数如下:<mi>f<mo stretchy="false">(<mi>x<mo stretchy="false">)<mo>=<mfrac><mn>1<mrow><msqrt><mn>2<mi>π<mi>σ<msup><mi>e<mrow class="MJX-TeXAtom-ORD"><mo>−<mo stretchy="false">(<mi>x<mo>−<mi>μ<msup><mo stretchy="false">)<mn>2<mrow class="MJX-TeXAtom-ORD"><mo>/<mn>2<msup><mi>σ<mn>2<mo>,<mo>−<mi mathvariant="normal">∞<mo><<mi>x<mo><<mi mathvariant="normal">∞" tabindex="0" id="MathJax-Element-6-Frame" class="MathJax">f(x)=12π−−√σe−(x−μ)2/2σ2,−∞<x<∞<math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><mi>f<mo stretchy="false">(<mi>x<mo stretchy="false">)<mo>=<mfrac><mn>1<mrow><msqrt><mn>2<mi>π<mi>σ<msup><mi>e<mrow class="MJX-TeXAtom-ORD"><mo>−<mo stretchy="false">(<mi>x<mo>−<mi>μ<msup><mo stretchy="false">)<mn>2<mrow class="MJX-TeXAtom-ORD"><mo>/<mn>2<msup><mi>σ<mn>2<mo>,<mo>−<mi mathvariant="normal">∞<mo><<mi>x<mo><<mi mathvariant="normal">∞<script id="MathJax-Element-6" type="math/tex; mode=display">f(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-(x-\mu)^2/2\sigma^2}, -\infty < x < \infty正态分布有两个参数，<mi>μ" tabindex="0" id="MathJax-Element-7-Frame" class="MathJax">μ<math xmlns="http://www.w3.org/1998/Math/MathML"><mi>μ<script id="MathJax-Element-7" type="math/tex">\mu和<mi>σ" tabindex="0" id="MathJax-Element-8-Frame" class="MathJax">σ<math xmlns="http://www.w3.org/1998/Math/MathML"><mi>σ<script id="MathJax-Element-8" type="math/tex">\sigma。我们可以将正态分布表示成<mi>N<mo stretchy="false">(<mi>μ<mo>,<mi>σ<mo stretchy="false">)" tabindex="0" id="MathJax-Element-9-Frame" class="MathJax">N(μ,σ)<math xmlns="http://www.w3.org/1998/Math/MathML"><mi>N<mo stretchy="false">(<mi>μ<mo>,<mi>σ<mo stretchy="false">)<script id="MathJax-Element-9" type="math/tex">N(\mu, \sigma)。当<mi>μ<mo>=<mn>0" tabindex="0" id="MathJax-Element-10-Frame" class="MathJax">μ=0<math xmlns="http://www.w3.org/1998/Math/MathML"><mi>μ<mo>=<mn>0<script id="MathJax-Element-10" type="math/tex">\mu = 0，<mi>σ<mo>=<mn>1" tabindex="0" id="MathJax-Element-11-Frame" class="MathJax">σ=1<math xmlns="http://www.w3.org/1998/Math/MathML"><mi>σ<mo>=<mn>1<script id="MathJax-Element-11" type="math/tex">\sigma = 1，这样的正态分布被称作标准正态分布(standard normal distribution)。 我们绘制三个正态分布的密度函数:<img class="lazyload" src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAAAXNSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAAAJcEhZcwAADsQAAA7EAZUrDhsAAAANSURBVBhXYzh8+PB/AAffA0nNPuCLAAAAAElFTkSuQmCC" data-original="https://img2.sycdn.imooc.com/images/unknow-80.png" alt="" height="362" width="483">可以看到，正态分布关于<mi>x<mo>=<mi>μ" tabindex="0" id="MathJax-Element-12-Frame" class="MathJax">x=μ<math xmlns="http://www.w3.org/1998/Math/MathML"><mi>x<mo>=<mi>μ<script id="MathJax-Element-12" type="math/tex">x = \mu对称，密度函数在此处取得最大值，并随着偏离中心而递减。如果以测量长度为例，这说明的读取值靠近<mi>μ" tabindex="0" id="MathJax-Element-13-Frame" class="MathJax">μ<math xmlns="http://www.w3.org/1998/Math/MathML"><mi>μ<script id="MathJax-Element-13" type="math/tex">\mu的可能性较大，而偏离<mi>μ" tabindex="0" id="MathJax-Element-14-Frame" class="MathJax">μ<math xmlns="http://www.w3.org/1998/Math/MathML"><mi>μ<script id="MathJax-Element-14" type="math/tex">\mu的可能性变小。<mi>σ" tabindex="0" id="MathJax-Element-15-Frame" class="MathJax">σ<math xmlns="http://www.w3.org/1998/Math/MathML"><mi>σ<script id="MathJax-Element-15" type="math/tex">\sigma代表了概率分布的离散程度。<mi>σ" tabindex="0" id="MathJax-Element-16-Frame" class="MathJax">σ<math xmlns="http://www.w3.org/1998/Math/MathML"><mi>σ<script id="MathJax-Element-16" type="math/tex">\sigma越小，概率越趋近对称中心<mi>x<mo>=<mi>μ" tabindex="0" id="MathJax-Element-17-Frame" class="MathJax">x=μ<math xmlns="http://www.w3.org/1998/Math/MathML"><mi>x<mo>=<mi>μ<script id="MathJax-Element-17" type="math/tex">x = \mu。 代码如下:<img class="lazyload" src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAAAXNSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAAAJcEhZcwAADsQAAA7EAZUrDhsAAAANSURBVBhXYzh8+PB/AAffA0nNPuCLAAAAAElFTkSuQmCC" data-original="https://img2.sycdn.imooc.com/5acf019b000151e400200020.jpg" alt="复制代码"><pre># By Vameifrom scipy.stats import normimport numpy as npimport matplotlib.pyplot as pltrv1 = norm(loc=0, scale = 1)rv2 = norm(loc=2, scale = 1)rv3 = norm(loc=0, scale = 2)x = np.linspace(-5, 5, 200)plt.plot(x, rv1.pdf(x), label="N(0,1)")plt.plot(x, rv2.pdf(x), label="N(2,1)")plt.plot(x, rv3.pdf(x), label="N(0,2)")plt.legend()plt.xlim([-5, 5])plt.title("normal distribution")plt.xlabel("RV")plt.ylabel("f(x)")plt.show()<img class="lazyload" src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAAAXNSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAAAJcEhZcwAADsQAAA7EAZUrDhsAAAANSURBVBhXYzh8+PB/AAffA0nNPuCLAAAAAElFTkSuQmCC" data-original="https://img2.sycdn.imooc.com/5acf019b000151e400200020.jpg" alt="复制代码">正态分布在统计中有非常重要的地位。我们将在后面的中心极限理论的讲解中，看到这一点。 <h3>Gamma分布Gamma分布在统计推断中具有重要地位。它的密度函数如下: <mi>g<mo stretchy="false">(<mi>t<mo stretchy="false">)<mo>=<mfrac><msup><mi>λ<mi>α<mrow><mi mathvariant="normal">Γ<mo stretchy="false">(<mi>α<mo stretchy="false">)<msup><mi>t<mrow class="MJX-TeXAtom-ORD"><mi>α<mo>−<mn>1<msup><mi>e<mrow class="MJX-TeXAtom-ORD"><mo>−<mi>λ<mi>t<mo>,<mi>t<mo>≥<mn>0" tabindex="0" id="MathJax-Element-18-Frame" class="MathJax">g(t)=λαΓ(α)tα−1e−λt,t≥0<math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><mi>g<mo stretchy="false">(<mi>t<mo stretchy="false">)<mo>=<mfrac><msup><mi>λ<mi>α<mrow><mi mathvariant="normal">Γ<mo stretchy="false">(<mi>α<mo stretchy="false">)<msup><mi>t<mrow class="MJX-TeXAtom-ORD"><mi>α<mo>−<mn>1<msup><mi>e<mrow class="MJX-TeXAtom-ORD"><mo>−<mi>λ<mi>t<mo>,<mi>t<mo>≥<mn>0<script id="MathJax-Element-18" type="math/tex; mode=display">g(t) = \frac{\lambda^\alpha}{\Gamma(\alpha)}t^{\alpha-1}e^{-\lambda t}, t \ge 0其中的Gamma函数可以表示为:<mi mathvariant="normal">Γ<mo stretchy="false">(<mi>x<mo stretchy="false">)<mo>=<munderover><mo>∫<mrow class="MJX-TeXAtom-ORD"><mn>0<mrow class="MJX-TeXAtom-ORD"><mi mathvariant="normal">∞<msup><mi>u<mrow class="MJX-TeXAtom-ORD"><mi>x<mo>−<mn>1<msup><mi>e<mrow class="MJX-TeXAtom-ORD"><mo>−<mi>u<mi>d<mi>u<mo>,<mi>x<mo>><mn>0" tabindex="0" id="MathJax-Element-19-Frame" class="MathJax">Γ(x)=∫0∞ux−1e−udu,x>0<math xmlns="http://www.w3.org/1998/Math/MathML" display="block"><mi mathvariant="normal">Γ<mo stretchy="false">(<mi>x<mo stretchy="false">)<mo>=<munderover><mo>∫<mrow class="MJX-TeXAtom-ORD"><mn>0<mrow class="MJX-TeXAtom-ORD"><mi mathvariant="normal">∞<msup><mi>u<mrow class="MJX-TeXAtom-ORD"><mi>x<mo>−<mn>1<msup><mi>e<mrow class="MJX-TeXAtom-ORD"><mo>−<mi>u<mi>d<mi>u<mo>,<mi>x<mo>><mn>0<script id="MathJax-Element-19" type="math/tex; mode=display">\Gamma(x) = \int \limits_{0}^{\infty} u^{x-1}e^{-u}du, x>0注意到，Gamma分布有两个控制参数<mi>α" tabindex="0" id="MathJax-Element-20-Frame" class="MathJax">α<math xmlns="http://www.w3.org/1998/Math/MathML"><mi>α<script id="MathJax-Element-20" type="math/tex">\alpha和<mi>λ" tabindex="0" id="MathJax-Element-21-Frame" class="MathJax">λ<math xmlns="http://www.w3.org/1998/Math/MathML"><mi>λ<script id="MathJax-Element-21" type="math/tex">\lambda。 练习，利用scipy.stats.gamma绘制<mi>α<mo>=<mn>1<mo>,<mi>λ<mo>=<mn>1" tabindex="0" id="MathJax-Element-22-Frame" class="MathJax">α=1,λ=1<math xmlns="http://www.w3.org/1998/Math/MathML"><mi>α<mo>=<mn>1<mo>,<mi>λ<mo>=<mn>1<script id="MathJax-Element-22" type="math/tex">\alpha = 1, \lambda = 1和<mi>α<mo>=<mn>5<mo>,<mi>λ<mo>=<mn>1" tabindex="0" id="MathJax-Element-23-Frame" class="MathJax">α=5,λ=1<math xmlns="http://www.w3.org/1998/Math/MathML"><mi>α<mo>=<mn>5<mo>,<mi>λ<mo>=<mn>1<script id="MathJax-Element-23" type="math/tex">\alpha = 5, \lambda = 1的Gamma分布密度函数。 <h3>总结我们研究了三种连续随机变量的分布，并使用概率密度函数的方法来表示它们。密度函数在数学上比较容易处理，所以有很重要的理论意义。密度函数在某个区间的积分，是随机变量在该区间取值的概率。这意味着，在密度函数的绘图中，概率是曲线下的面积。欢迎继续阅读“数据科学”系列文章$

點擊查看更多內容