辉煌的中心极限定理

在整个概率论的平原上,有一个定理傲然矗立在定理建筑群之中,辉煌如太阳般耀眼,也像太阳一般几乎不可逃避。但是我们的教科书上在介绍完定理之后,总是三个大字“证明略”,真是让人无比遗憾,也惊叹于为什么如此重要,如此美妙的定理会被略过。在某种意义上,哪怕完全单独列出一个章节来证明这个定理都不为过。我写这篇小文章,也就是想弥补一下这个空缺,也为真正有好奇心的同学开启一道门,让大家能够真正领略一下中心极限定理的风采和神韵。

我准备从尽量少的预备知识开始出发,让多数懂得基本极限和数列知识的人就能够看懂。所以我们的旅程可能比较长,我们在开始的旅行前,先看看我们的旅行地图:

第一步,我们从不等式开始探索,我们会用排序不等式证明常用的几个均值不等式。我们证明的这些均值不等式将会在我们探索自然数 e 的时候用到。同时我们也要领会到顺序 \geq 乱序 \geq 逆序这个朴素的自然真理。

第二步,我们从一个基础的极限出发,得到自然数 e 的定义以及 e^x 的导数和积分性质。自然数 e 从某种意义上来说就是开启高等数学的大门之一, e^x,sin(x),cos(x) 之间美妙的数学联系需要从 e^x 的导数开始找寻。

第三步,我们探索泰勒展开公式,并引入复数证明欧拉公式。泰勒展开式是哲学和技巧的完美结合,而这个结合还可以推导出像出自上帝之手的欧拉公式。在这里我是第一次真正被这种协调的美感震撼到。

第四步,我们探索傅立叶展开公式。傅立叶展开式在哲学思维上和泰勒级数十分相似,但是处理技巧和角度上则是另辟蹊径。在傅立叶展开的思维里,世界上的函数都被理解为无数周期性三角函数波的叠加。在看过量子力学后,也许冥冥之中这个世界的本质就是波的叠加。

最后,我们为概率论引入特征函数,这个函数的本质就是概率函数的傅立叶分析。在经过了优美的泰勒和深邃的傅立叶之后,我们利用特征函数和泰勒展开公式证明那个傲然矗立在整个现代概率论中心的极限定理。

这篇文章会持续修改更新,添加或者删改内容,直到我认为大多数人具备基础知识的人都能够看懂为止。

v1.0.0版本,2019.10.05

(一)排序不等式和均值不等式

我们先定义一些常见的均值,这些均值在不同的场景下都能够以一个值来代表某种平均情况下的指标。围绕这这些均值我们可以建立起一系列的均值不等式。这些不等式的核心思想就是一个:强强联合总是最大的,强弱结合总是最小的,而乱序的结合介于两者之间。从某种意义上我们可以认为排序不等式处于核心地位,也从哲学意义上说明了一些自然法则。

1.1 算术均值的定义

设算术均值为 A_n ,定义为:

A_n=\frac{x_1+x_2+x_3 + ... + x_n}n=\frac{1}n\sum_{i=1}^{n}{x_i}

我日常生活中计算平均分数,平均身高,平均工资( )都是使用的算术平均数。

1.2 几何均值的定义

设几何均值为 G_n ,定义为:

G_n =\sqrt[n]{x_1x_2x_3...x_n}= \sqrt[n]{\prod_{i=1}^{n}x_i}

例如第一年利率0.0%,第二年利率20.0%,第三年利率20.0%,第四年利率14.4%,我们算平均利率就是

\sqrt[4]{1.0 \times 1.2 \times 1.2 \times 1.44} = 1.2 ,也就是20%的平均利率。

1.3 调和均值的定义

设调和均值为 H_n ,定义为:

H_n = \frac{n}{\frac{1}{x_1}+\frac{1}{x_2}+\frac{1}{x_3}+...+\frac{1}{x_n}}=\frac{n}{\sum_{i=1}^{n}{\frac{1}{x_i}}}

一段路80公里,前半段40公里60公里的时速,用时40分钟,后半段40公里30公里的时速,用时80分钟,问平均时速是多少

\frac{2}{\frac{1}{60}+\frac{1}{30}}=\frac{2}{\frac{3}{60}}=40

1.4 平方均值的定义

平方均值为 Q_n ,定义为:

Q_n=\sqrt[2]{\frac{x_1^{2}+{{x_2}^2}+{{x_3}^2}+...+{{x_n}^2}}{n}}=\sqrt[2]{\frac{\sum_{i=1}^{n}{x_i^2}}{n}}

平方均值常用于概率统计的方差计算中。

那么这些均值之间有什么样的关系呢?目前所有的源头都可以从排序不等式说起

1.5 排序不等式

a_1 \geq a_2\geq a_3 \geq... \geq a_nb_1 \geq b_2 \geq b_3\geq ... \geq b_n ,则有不等关系如下:

a_1b_1+a_2b_2+a_3b_3+...+a_nb_n \geq a_{i_1}b_{j_1}+a_{i_2}b_{j_2}+a_{i_3}b_{j_3}+...a_{i_n}b_{j_n} \geq a_nb_1+a_{n-1}b_2+a_{n-2}b_3+...+a_{1}b_{n}

我们可以用交换原理来证明这个不等式,设 m<na_m \leq a_nb_{j_m} \geq b_{j_n}j_n \neq n ,第m项为 a_mb_{j_{m}} ,考虑一对组合,设 j_n=m ,交换 b_{j_n}b_{j_m}

a_mb_{j_{m}} +a_nb_{j_n}\leq a_mb_{j_n}+a_nb_{j_m}

a_m(b_{j_{m}}-b_{j_n}) +a_n(b_{j_n}-b_{j_m})\leq 0

(a_m-a_n)(b_{j_{m}}-b_{j_n}) \leq 0

设交换前的n项和为 S ,交换后的n项和为 S_l,显然

S_l \geq S

最多经过n-1次这样的交换就可以得到 S_{max} = a_1b_1 + a_2b_2 + ... + a_nb_n

同理至多经过n-1次交换就可以得到 S_{min}=a_nb_1+a_{n-1}b_2+...+a_1b_n

排序不等式也可以用文字直接表达就是:顺序结合 \geq 乱序结合 \geq 逆序结合

1.6 切比雪夫不等式

我们看一个有趣的乘积:

 (a_1+a_2+...+a_n)(b_1+b_2+..b_n)=n \times 乱序结合

所以根据排序不等式,我们可以得到一个重要推论就是: n\cdot(a_1b_1+a_2b_2+a_3b_3+...+a_nb_n) \geq (a_1+a_2+...+a_n)(b_1+b_2+..b_n)

 (a_1+a_2+...+a_n)(b_1+b_2+..b_n) \geq n \cdot (a_nb_1+a_{n-1}b_2+a_{n-2}b_3+...+a_{1}b_{n})

于是得到切比雪夫不等式

\frac{\cdot(a_1b_1+a_2b_2+a_3b_3+...+a_nb_n)}{n} \geq \frac{(a_1+a_2+...+a_n)}{n}\frac{(b_1+b_2+..b_n)}{n}

\frac{(a_1+a_2+...+a_n)}{n}\frac{(b_1+b_2+..b_n)}{n} \geq \frac{\cdot(a_nb_1+a_{n-1}b_2+a_{n-2}b_3+...+a_1b_n)}{n}

1.7 利用切比雪夫不等式证明平方均值大于等于算术均值

a_i=b_i ,利用切比雪夫不等式的前半部分即可得

\frac{\cdot(a_1^2+a_2^2+a_3^2+...+a_n^2)}{n} \geq \frac{(a_1+a_2+...+a_n)}{n}\frac{(a_1+a_2+..a_n)}{n}

两边同时开方即可得:

\sqrt[2]{\frac{\cdot(a_1^2+a_2^2+a_3^2+...+a_n^2)}{n}} \geq \frac{(a_1+a_2+...+a_n)}{n}

也就是 Q_n \geq A_n

1.8 利用排序不等式证明算术均值大于等于几何均值

c=\sqrt[n]{a_1a_2a_3...a_n}

x_1=\frac{a_1}{c},x_2=\frac{a_1a_2}{c^2},x_3=\frac{a_1a_2a_3}{c^3},x_n=\frac{a_1a_2...a_n}{c^n}=1

y_1=\frac{c}{a_1},y_2=\frac{c^2}{a_1a_2},y_3=\frac{c^3}{a_1a_2a_3},y_n=\frac{c^n}{a_1a_2...a_n}=1

由于 x_iy_i 互为倒数,所以  x_1y_1+x_2y_2 +...+x_ny_n 相当于是强弱结合,所以

x_1y_n+x_2y_{n-1}+...+x_ny_1 \geq x_1y_1+x_2y_2 +...+x_ny_n

也就是

\frac{a_1}{c}+\frac{a_2}{c}+...+\frac{a_n}{c} \geq 1+1+..+1 = n

\frac{a_1+a_2+...+a_n}{n} \geq c=\sqrt[n]{a_1a_2...a_n}

也就是 A_n \geq G_n

1.9 利用算术几何均值不等式证明几何均值大于调和均值

将算术几何均值不等式中的 a_i 置换为 \frac{1}{a_i} 可得

\frac{\frac{1}{a_1}+\frac{1}{a_2}+...+\frac{1}{a_n}}{n} \geq \sqrt[n]{\frac{1}{a_1} \frac{1}{a_2}...\frac{1}{a_n}}

翻转一下就得到

\sqrt[n]{a_1a_2...a_n} \geq \frac{n}{\frac{1}{a_1}+\frac{1}{a_2}+...+\frac{1}{a_n}}

也就是 G_n \geq H_n

综上所证,我们就得到来一个相对完整的均值不等式:

Q_n \geq A_n \geq G_n \geq H_n

(二)神奇的自然数 e 以及神奇的指数函数 e^x

我们对自然数 e 的探索需要从一个极限开始

\lim_{n\rightarrow {\infty}}(1+\frac{1}{n})^{n}

这个极限的值究竟是 \infty 呢,还是收敛于一个特殊的值呢?

2.1 极限的单调递增性和有界性

如果我们能够证明一个极限既是单调递增的,同时又是有界的,那么我们就能够说这个极限是肯定存在的了。这里我们设 a_n = (1+\frac{1}{n})^n ,设 b_n = (1+ \frac{1}{n})^{n+1}

首先,利用几何平均数小于算术平均数:

a_n=1\cdot(1+\frac{1}{n})^n \leq  (\frac{1+n\cdot (1+\frac{1}{n})}{n+1})^{n+1}=(\frac{n+2}{n+1})^{n+1}=(1+ \frac{1}{n+1})^{n+1}=a_{n+1}

其次,利用几何平均数大于调和平均数:b_n=1\cdot(1+\frac{1}{n})^{n+1} \geq (\frac{n+2}{1+\frac{n}{n+1}+...+\frac{n}{n+1}})^{n+2}=(\frac{n+2}{n+1})^{n+2}=(1+\frac{1}{n+1})^{n+2} = b_{n+1}

b_1 = (1+ \frac{1}{1})^{1+1}=4

因为 a_n \leq a_{n+1} 所以 a_n 是单调的,又因为 a_n \leq b_n \leq b_1 =4 所以 a_n 是有界的。综上, a_n 是收敛于一个值的。那么这个值具体是多少呢,我们只能说这个值和圆周率 \pi 一样都是无理数,无法用有限位数字精确表示出来,我们只能把这个值定义为 e :

 e=\lim_{n\rightarrow\infty}{\left(1+\frac{1}{n}\right)^n}\approx2.718281828459

2.2 自然数的指数函数e^x 的导数性质

考虑 e^x 的导数,我们不妨从导数的基本定义开始入手:

\left(e^x\right)^\prime=\lim_{\Delta x\rightarrow0}{\frac{e^{x+\Delta x}-e^x}{\Delta x}}=\lim_{\Delta x\rightarrow0}{\left(\frac{e^{\Delta x}-1}{\Delta x}\cdot e^x\right)}=e^x\cdot \lim_{\Delta x→0}\frac{e^{∆x}-1}{∆x}

我们发现我们需要知道 e^{\Delta x} -1\Delta x 的大小关系,在 \Delta x \rightarrow0 时是否是同阶无穷小。这里的处理需要一点儿技巧。我们通过把 x 置换为 ln(1+t) ,得到在 x \rightarrow 0e^x-1x 是等价无穷小,

\lim_{x\rightarrow0}{\frac{e^x-1}{x}}\Rightarrow^{x=\ln(1+t)}=\lim_{t\rightarrow0}{\frac{e^{\ln{(1+t)}}-1}{\ln{(1+t)}}}\ =\lim_{t\rightarrow0}{\frac{t}{\ln{(1+t)}}}\ = \lim_{t\rightarrow0}{\frac{1}{\frac{1}{t}\cdot \ln{(1+t)}}}\ =\lim_{t\rightarrow0}{\frac{1}{\ln{({1+t)}^\frac{1}{t}}}}\ =\lim_{t\rightarrow0}{\frac{1}{\ln{e}}}=1

在这个等价无穷小的支持下,我们得到一个神奇的导数性质,e^x的导数就是自己本身:

\left(e^x\right)^\prime=\lim_{\Delta x\rightarrow0}{\frac{e^{x+\Delta x}-e^x}{\Delta x}}=\lim_{\Delta x\rightarrow0}{\left(\frac{e^{\Delta x}-1}{\Delta x}\cdot e^x\right)}=e^x\cdot \lim_{\Delta x→0}\frac{e^{∆x}-1}{∆x}=e^x

正是这个神奇的性质,让 e^x 在泰勒级数和傅立叶级数中大放异彩。

我们先看看几个关于 e 的函数的图像

e的函数图像

2.3 自然数的指数函数e^{-x^2} 的积分性质

由对称性得

\int_{-\infty}^{+\infty} e^{-x^2} dx=2\cdot\int_{0}^{+\infty} e^{-x^2} dx=2I I^2 =\left[ \int_{0}^{+\infty} e^{-x^2} dx \right]^2=\left[ \int_{0}^{+\infty} e^{-x^2} dx \right]\left[ \int_{0}^{+\infty} e^{-y^2} dy \right]=\int_{0}^{+\infty}\int_{0}^{+\infty}{e^{-x^2-y^2}}dxdy

利用极坐标设 x = rcos\theta, y=rsin\theta,\theta\in[0,\frac{\pi}{2}] ,得

I^2=\int_{0}^{+\infty}\int_{0}^{+\infty}{e^{-x^2-y^2}}dxdy=\int_{0}^{\frac{\pi}{2}}d\theta \int_{0}^{+\infty}e^{-r^2}rdr=\frac{\pi}{2} \int_{0}^{+\infty}\frac{e^{-r^2}}{2}dr^2

\frac{\pi}{2} \int_{0}^{+\infty}\frac{e^{-r^2}}{2}dr^2 = \frac{\pi}{2} \int_{0}^{+\infty}-\frac{e^{-r^2}}{2}d{(-r^2)}=\frac{\pi}{2} \cdot\left[ -\frac{e^{-r^2}}{2} \right]_{0}^{+\infty}=\frac{\pi}{4}

所以

\int_{-\infty}^{+\infty} e^{-x^2} dx=2\cdot\frac{\sqrt{\pi}}{2}=\sqrt{\pi}

\int_{-\infty}^{+\infty}e^{-\frac{x^2}{2}}dx=\sqrt2\cdot\int_{-\infty}^{+\infty} e^{-({\frac{x}{\sqrt{2}})}^2} d{\frac{x}{\sqrt2}}=\sqrt{2\pi}

这里我们可以得到一个贯穿整个概率论的积分

\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{+\infty}e^{-\frac{x^2}{2}}dx=1

(三)无穷近似思想下的泰勒展开

我们怎么探索一个未知的函数呢?1712年,英国数学家泰勒(Brook Taylor)在给老师的信中提出著名的泰勒展开式。在泰勒的思想下,任何单变量函数都可展成幂级数。

3.1 泰勒展开式

泰勒展开的思想就是在一个点 x_0 附近,使用幂函数模拟和近似f(x) 。对于任意一个函数 f(x),我用一个函数 \varphi(x) 来近似,我保证在特定点 x_0 处这两个函数无穷近似

\varphi(x_0)=f(x_0) ,在这个点,两个函数的值一致

\varphi^{'}(x_0)=f^{'}(x_0) ,在这个点,两个函数的值的变化率一致

\varphi^{''}(x_0)=f^{''}(x_0) ,在这个点,两个函数的值的变化率的变化率一致

...

\varphi^{(n)}(x_0)=f^{(n)}(x_0) ,在这个点,两个函数的值的n阶导数一致

如果我们设计的 \varphi(x) 能保证上述的相似一直持续到无穷阶导数,那么我们就有足够的自信说 f(x)\varphi (x)x_0 附近是足够相似的。根据这种相似的思想,我们构造出一个特殊的幂级数,我们称之为泰勒级数

f\left(x_0\right)+\frac{f^\prime\left(x_0\right)}{1!}(x-x_0)+\frac{f^{\prime\prime}\left(x_0\right)}{2!}({x-x_0)}^2+\ldots = \lim_{n\rightarrow \infty}\sum_{i=0}^{n}{\frac{f^{(i)}(x_0)}{i!}}\cdot(x - x_0)^{i}

同时,我们有函数的泰勒展开式

f\left(x\right)=f\left(x_0\right)+\frac{f^\prime\left(x_0\right)}{1!}(x-x_0)+\frac{f^{\prime\prime}\left(x_0\right)}{2!}({x-x_0)}^2+\ldots+\frac{f^{\left(n\right)}\left(x_0\right)}{n!}\left(x-x_0\right)^n+R_n(x)

泰勒展开式的思想就是用一个我们熟悉的幂函数去模拟和逼近任意未知的函数,只要我们模拟到足够好,足够高阶,那么在这个模拟点 x_0 ,在某种意义上,这两个函数就是等价的。

假设函数 f(x)x_0 的邻域 N(x_0, \sigma)具有任意阶导,则  f(x) 能够用泰勒展开的充要条件是泰勒余项满足:

\lim_{n \rightarrow \infty} R_n(x) = 0, x\in N(x_0, \sigma)

3.2 e^x,sin(x),cos(x) 的泰勒展开式

e^x=1+x+\frac{x^2}{2!}+\frac{x^3}{3!}+\frac{x^4}{4!}+\ldots=\sum_{n=0}^{\infty}\frac{x^n}{n!}

\sin{\left(x\right)}=x-\frac{x^3}{3!}+\frac{x^5}{5!}-\frac{x^7}{7!}+\ldots=\sum_{n=0}^{\infty}{\frac{(-1)^{n}x^{2n+1}}{(2n+1)!}}

\cos{\left(x\right)}=1-\frac{x^2}{2!}+\frac{x^4}{4!}-\frac{6}{6!}+\ldots=\sum_{n=0}^{\infty}{\frac{(-1)^{n}x^{2n}}{(2n)!}}

3.3 来自于上帝的欧拉公式

一位数学天才在这里引入了复数 i\sqrt[2]{-1} = i ,得到

e^{ix}=1+ix-\frac{x^2}{2!}-\frac{ix^3}{3!}+\frac{x^4}{4!}+\frac{ix^5}{5!}\ldots=\cos{\left(x\right)}+i\sin(x)

(e^{ix})^n=e^{inx}=cos(nx)+isin(nx)=[cos(x)+isin(x)]^{n}

如果把 x 设为 \pi ,我就得到的那个被誉为出自上帝之手的欧拉公式:

e^{i\pi}=\cos{\left(\pi\right)}+i\sin{\left(\pi\right)}=-1

(四)无穷相似思想下的另一条辉煌之路

傅立叶变换的本质就是用三角函数不断地逼近目标函数,逼近的策略是先从最大体上保证差不多,再修正小的局部,再修正细小的部分,再修正更加细小的部分,然后无限修正,这个三角函数的组合就会无限逼近目标函数。

从波的角度思考傅立叶变换,就是把函数看作是一个一个波的叠加。

傅立叶变换示意图(图片来自于网络,侵删)

更进一步,我们把函数认为是正弦函数和余弦函数的线性叠加,也就是可以表示成如下形式f(x) = c + a_1cos(x) + a_2cos(2x) + ... + a_ncos( nx )+...+ b_1sin(x) + b_2sin(2x) + ... + b_nsin(nx)+...

其中 c,a_1,a_2,...a_n,b_1,b_2,...,b_n 就是我们需要确定的量。为了确定这些值,我们需要研究一下三角函数的积分性质,这里最重要的性质被称之为正交性。在到达正交性之前我们还需要一下高中的积化和差公式。忘了?没关系,我们可以从前面的欧拉公式推导出来。

4.1 利用欧拉公式推导积化和差公式

e^{i(\alpha+\beta)}=\cos{\left(\alpha+\beta\right)}+i\sin(\alpha+\beta)

e^{i(\alpha+\beta)}=e^{i\alpha}e^{i\beta}=\left[\cos{\left(\alpha\right)}+isin(\alpha)\right]\cdot\left[\cos{\left(\beta\right)}+isin\left(\beta\right)\right]\ \

e^{i(\alpha+\beta)}=\cos{\left(\alpha\right)}\cos{\left(\beta\right)}-\sin{\left(\alpha\right)}\sin(\beta)\ +isin\left(\alpha\right)\cos{\left(\beta\right)}+isin\left(\beta\right)\cos{\left(\alpha\right)}

根据实部等于实部,虚部等于虚部的原则,得到

\cos{\left(\alpha+\beta\right)}=\cos{\left(\alpha\right)}\cos{\left(\beta\right)}-\sin{\left(\alpha\right)}\sin(\beta)

\sin{\left(\alpha+\beta\right)}=sin\left(\alpha\right)\cos{\left(\beta\right)}+sin\left(\beta\right)\cos{\left(\alpha\right)}

从这两个公式,我们可以推导出积化和差公式:

\cos{\left(\alpha\right)}\cos{\left(\beta\right)}=\frac{\cos{\left(\alpha+\beta\right)}+\cos(\alpha-\beta)}{2}

\sin{\left(\alpha\right)}\sin{\left(\beta\right)}=\frac{\cos{\left(\alpha-\beta\right)}-\cos(\alpha+\beta)}{2}

\sin{\left(\alpha\right)}\cos{\left(\beta\right)}=\frac{\sin{\left(\alpha+\beta\right)}+\sin(\alpha-\beta)}{2}

\sin{\left(\beta\right)}\cos{\left(\alpha\right)}=\frac{\sin{\left(\alpha+\beta\right)}-\sin(\alpha-\beta)}{2}

4.2 三角函数系的正交性

利用三角函数的周期性得

\int_{-\pi}^{+\pi}{cos(nx)dx}=0,n\ne0

\int_{-\pi}^{+\pi}{sin(nx)dx}=0,n\ne0

利用积化和差公式得

\int_{-\pi}^{+\pi}{sin^2(x)dx}=\int_{-\pi}^{+\pi}{\frac{1-cos(2x)}{2}}dx=\pi

\int_{-\pi}^{+\pi}{cos^2(x)dx}=\int_{-\pi}^{+\pi}{\frac{1+cos(2x)}{2}}dx=\pi

利用三角函数的积化和差公式得,当 m \neq n

\int_{-\pi}^{\pi}{\cos{\left(mx\right)}\cdot\cos{\left(nx\right)}dx}=\int_{-\pi}^{\pi}{\frac{\cos{\left(mx+nx\right)}+\cos(mx-nx)}{2}dx}=\frac{1}{2}\cdot\left[\int_{-\pi}^{\pi}{\cos(mx+nx)dx}+\int_{-\pi}^{\pi}{\cos(mx-nx)dx}\right]=0

\int_{-\pi}^{\pi}{\sin{\left(mx\right)}\cdot\sin{\left(nx\right)}dx}=\int_{-\pi}^{\pi}{\frac{\cos{\left(mx-nx\right)}-\cos(mx+nx)}{2}dx}=\frac{1}{2}\cdot\left[\int_{-\pi}^{\pi}{\cos(mx-nx)dx}-\int_{-\pi}^{\pi}{\cos(mx+nx)dx}\right]=0

\int_{-\pi}^{\pi}{\sin{\left(mx\right)}\cdot\cos{\left(nx\right)}dx}=\int_{-\pi}^{\pi}{\frac{\sin{\left(mx+nx\right)}+\sin(mx-nx)}{2}dx}=\frac{1}{2}\cdot\left[\int_{-\pi}^{\pi}{\sin(mx+nx)dx}+\int_{-\pi}^{\pi}{\sin(mx-nx)dx}\right]=0

所以 1,cos(x),sin(x),cos(2x),sin(2x),...cos(nx),sin(nx) 是正交的。

如果是想转化为 2 \iota 为周期,那么正交的三角函数系就是

1,cos(\frac{\pi}{\iota}x),sin(\frac{\pi}{\iota}x),cos(\frac{2\pi}{\iota}x),sin(\frac{2\pi}{\iota}x),...cos(\frac{n\pi}{\iota}x),sin(\frac{n\pi}{\iota}x)

如果是想转化为 \iota 为周期,那么正交的三角函数系就是

1,cos(\frac{2\pi}{\iota}x),sin(\frac{2\pi}{\iota}x),cos(\frac{4\pi}{\iota}x),sin(\frac{4\pi}{\iota}x),...cos(\frac{2n\pi}{\iota}x),sin(\frac{2n\pi}{\iota}x)

4.3 傅立叶展开式

f(x)2\pi 为周期,或者定义在区间 [-\pi, +\pi] 上, f(x) 是可积的,那么 f(x) 可以展开为三角级数的形式:

f\left(x\right)=\frac{a_0}{2}+\sum_{n=1}^{\infty}\left[a_n\cos{\left(nx\right)}+b_n\sin(nx)\right]

其中:

a_n=\frac{1}{\pi}\int_{-\pi}^{+\pi}{f\left(x\right)\cdot\cos{\left(nx\right)}dx\ \ }(n=0,1,2\ldots)

b_n=\frac{1}{\pi}\int_{-\pi}^{+\pi}{f\left(x\right)\cdot\sin{\left(nx\right)}dx}\ \ \ (n=1,2,3\ldots)

我们这里来思考一下 \frac{1}{\pi}\int_{-\pi}^{+\pi}{f\left(x\right)\cdot\cos{\left(nx\right)}dx\ \ } 这个表达式意义,如果我们认可 f(x) 是无数个三角函数的叠加的这一思想,那么由于三角函数函数的正交性,所有 cos(mx),m \neq n 的成分的积分都会是0,所有 sin(x) 的成分的积分也会是0,只剩下 cos(nx) 的成分,

f(x) = c + a_0sin(x) + sin(2x) + ... + sin(nx)+... + cos(x) + cos(2x) + ... + cos( nx )+...


需要指出的是可积的条件比可微的条件要宽松许多,如果 f(x) 在区间 [a, b] 有界,那么可积的充要条件是f(x) 在区间 [a, b]内的全体间断点构成的集合的测度为0,甚至连续性都不要求。


4.4 傅立叶展开式的指数形式

傅里叶级数还可以表示为自然数 e 的指数形式

  • e^{ix}=cos(x)+i\cdot sin(x)
  • e^{-ix}=cos(x)-i\cdot sin(x)

那么就可以用自然数 e 的指数形式表示正弦函数和余弦函数:

  • cos(x)=\frac{e^{ix}+e^{-ix}}{2}
  • sin(x)=\frac{e^{ix}-e^{-ix}}{2i}

那么傅里叶级数的形式就可以改写为

f\left(x\right)=\frac{a_0}{2}+\sum_{n=1}^{\infty}\left[a_n\frac{e^{inx}+e^{-inx}}{2}+b_n\frac{e^{inx}-e^{-inx}}{2i}\right]

f\left(x\right)=\frac{a_0}{2}+\sum_{n=1}^{\infty}\left[\frac{ia_n+b_n}{2i}e^{inx}+\frac{ia_n-b_n}{2i}e^{-inx}\right]

f\left(x\right)=\frac{a_0}{2}+\sum_{n=1}^{\infty}\left[\frac{ia_n+b_n}{2i}e^{inx}+\frac{ia_n-b_n}{2i}e^{-inx}\right]

我们令

  • F_n=\frac{ia_n+b_n}{2i},n>0
  • F_n=\frac{ia_n-b_n}{2i},n<0
  • F_n=\frac{a_0}{2},n=0

那么傅里叶级数就可以写成如下形式:

f\left(x\right)=\sum_{n=-\infty}^{+\infty}{F_n\cdot e^{inx}}

前面我们研究的是三角函数系的正交性,我们看下 e^{inx} 的正交性

\int_{-\frac{T}{2}}^{\frac{T}{2}} e^{inx}e^{imx}dx=\int_{-\frac{T}{2}}^{\frac{T}{2}} [cos(nx)+i\cdot sin(nx)][cos(mx)+i\cdot sin(mx)]dx=0,m \ne n

那么可以使用 e^{-itx} 来消去 e^{inx} 的项,那么就是

\int_{-\frac{T}{2}}^{\frac{T}{2}} f\left(x\right)e^{-itx}dx=\sum_{n=-\infty}^{+\infty}F_n\int_{-\frac{T}{2}}^{\frac{T}{2}} {\cdot e^{inx}e^{-itx}dx}

根据正交性有

\int_{-\frac{T}{2}}^{\frac{T}{2}} f\left(x\right)e^{-itx}dx=F_t \cdot T

所以

F_t=\frac{1}{T}\int_{-\frac{T}{2}}^{\frac{T}{2}}{f(x)\cdot e^{-itx}}dx,\ t=0,\pm1,\pm2,\ldots

(五)矗立于概率论中心的极限定理

5.1 概率论的特征函数

X 是随机变量, f(x) 是概率密度函数,我们引入特征函数

\varphi_{X}\left(t\right)=\int_{-\infty}^{+\infty}{e^{itx}\cdot f\left(x\right)\ dx}

在概率论中我们有一个特殊的简写符号 E 来表示期望:

E(x)=\int_{-\infty}^{+\infty}xf(x)dx

E(x^n)=\int_{-\infty}^{+\infty}x^nf(x)dx

E(x^n) 叫做随机变量 X 的n阶矩。

我们发现特征函数和傅立叶变换很相似,但是从泰勒级数的角度理解特征函数更为贴切。把随机变量的n阶矩用泰勒展开式串联起来就可以得到特征函数。

e^{itx}=1+itx-\frac{t^2x^2}{2!}-\frac{it^3x^3}{3!}+\frac{t^4x^4}{4!}+\ldots=\sum_{n=0}^{\infty}\frac{(itx)^n}{n!}

\varphi_{X}\left(t\right)=\int_{-\infty}^{+\infty}{(\sum_{n=0}^{\infty}\frac{(itx)^n}{n!})\cdot f\left(x\right)\ dx}

\varphi_{X}\left(t\right)=\sum_{n=0}^{\infty}\int_{-\infty}^{+\infty}{(\frac{(itx)^n}{n!})\cdot f\left(x\right)\ dx}

\varphi_{X}\left(t\right)=\sum_{n=0}^{\infty}{\frac{i^nt^n}{n!}\cdot E(x^n)}

所以本质上特征函数就是把 E(x^n) 通过泰勒展开式串联起来的表达式。那么真正的傅里叶变换的形式 \int_{-\infty}^{+\infty}{e^{-itx}\cdot f\left(x\right)\ dx} 和特征函数有除了形式相似外还有什么关系吗?

  • e^{itx}=cos(tx)+i \cdot sin(tx)
  • e^{-itx}=cos(-tx)+isin(-tx)=cos(tx)-i\cdot sin(tx)

所以 e^{itx}e^{-itx} 是共轭复数,所以特征函数是概率密度函数的傅里叶变换的共轭。所以把特征函数当做是密度函数的傅里叶变换来理解也是可以的。

特征函数比概率密度函数有更加优秀的解析性质(一致连续性,n阶导数形式简单,卷积计算简单),特征函数和概率分布一一映射,知道了特征函数可以通过反演公式算出原密度函数。可以说特征函数为概率论的解析处理开启了另一道重要的大门。

\left| \varphi(x) \right| = \left| E(e^{itx}) \right| \leq E({\left| e^{itx}  \right|}) \leq E(1) = \varphi(0) = 1

5.2 狄利克雷积分

这里我们先引入一个有趣的积分,这个积分最大的作用就是能够把符号表示成积分的形式

设I I(a)=\frac{1}{\pi} \int_{0}^{+\infty}\frac{sin(at)}{t}dt

则有

I(a)=\frac{1}{2}, a >0

I(a)=0, a =0

I(a)=-\frac{1}{2}, a <0

我们先证 \int_{0}^{+\infty} \frac{sin(u)}{u}du=\frac{\pi}{2}

这里需要一个技巧,设 \frac{1}{u} = \int_{0}^{+\infty}e^{-us}ds

\int_{0}^{T} \frac{sin(u)}{u}du=\int_{0}^{T} \left[ sin(u)\int_{0}^{+\infty}e^{-us}ds \right] du

\int_{0}^{T} \left[ sin(u)\int_{0}^{+\infty}e^{-us}ds \right] du =\int_{0}^{+\infty} \left[ \int_{0}^{T}e^{-us}sin(u)du \right ]ds

\int_{0}^{+\infty} \left[ \int_{0}^{T}e^{-us}sin(u)du \right ]ds=\int_{0}^{+\infty} \left[ \frac{1}{1+s^2} -\frac{s\cdot sin(T)+T \cdot cos(T)}{s^2 + T^2}e^{-s} \right ]ds

\int_{0}^{+\infty}{\frac{1}{1+s^2}}ds=\frac{\pi}{2}

\left| \frac{s\cdot sin(T)+T \cdot cos(T)}{s^2 + T^2}e^{-s} \right| < e^{-s}

其中 \int_{0}^{+\infty}\frac{1}{1+x^2}dx 需要一点小技巧,令 x=tan(t)=\frac{sin(t)}{cos(t)}

\int_{0}^{+\infty}\frac{1}{1+x^2}dx=\int_{0}^{+\infty}\frac{1}{1+tan^2(t)}\cdot   \frac{1}{cos^2(t)}dt=(t+c)|_{0}^{+\infty}=arctan(x)+c|_{0}^{+\infty}=\frac{\pi}{2}

综上, \int_{0}^{+\infty} \frac{sin(u)}{u}du=\frac{\pi}{2} ,这个积分重要意义就是能够把符号表达为积分形式

5.3 特征函数的反演公式

J_T=\frac{1}{2\pi}\cdot \int_{-T}^{T}\frac{e^{-itx_1} -e^{-itx_2}}{it}\varphi(t)dt

J_T=\frac{1}{2\pi}\cdot E\int_{-T}^{T}\frac{e^{-itx_1} -e^{-itx_2}}{it} e^{itX}dt

J_T=\frac{1}{2\pi}\cdot E\int_{-T}^{T}\frac{e^{-it(X-x_1)} -e^{-it(X-x_2)}}{it} dt

J_T=\frac{1}{2\pi}\cdot E\int_{0}^{T}\frac{e^{it(X-x_1)} - e^{-it(X-x_1)}+e^{-it(X-x_2)} -e^{it(X-x_2)}}{it} dt

J_T=\frac{1}{\pi} \cdot E \int_{0}^{T}{\frac{sin(X-x_1)t-sin(X-x_2)t}{t}}dt

\lim_{T\rightarrow\infty}J_T =\frac{1}{2}\cdot E \left[ sign(X-x_1)-sign(X-x_2) \right]

不妨设 x_1 < x_2 ,则

sign(X-x_1) - sign(X-x_2) = 0,x_1和x_2在X的一侧

sign(X-x_1) - sign(X-x_2) = 1,x_1=X 或 x_2=X

sign(X-x_1) - sign(X-x_2) = 2,x_1 < X<x_2

\lim_{T \rightarrow \infty}J_T=\frac{1}{2}\cdot \left [ P(X=x_1) + P(X=x_2) \right] + F(x_2-0)-F(x_1)

\lim_{T \rightarrow \infty}J_T=\frac{F(x_2)+F(x_2-0)}{2} - \frac{F(x_1)+F(x_1-0)}{2}

x_1x_2 是连续点,

\lim_{T \rightarrow \infty}J_T=F(x_2)-F(x_1)

若特征函数 \varphi(t) 绝对可积

\int_{-\infty}^{+\infty}\left| \varphi(t) \right|dt < \infty

则对应的分布函数F(x)是连续的,

\forall a \in R,设一个数列 b_n>a,b_n \rightarrow a

根据反演公式

0 \leq F(b_n) - \frac{F(a)+F(a+0)}{2} \leq \frac{b_n -a}{2 \pi} \int_{-\infty}^{+\infty} \left| \varphi(t) \right| dt

F(b_n) - \frac{F(a)+F(a+0)}{2} 单调递减,且趋近于0

由F(x)的右连续性得到 F(b_n) \rightarrow F(a)

也就是 F(a) - \frac{F(a)+F(a+0)}{2} =0 ,也就是F(x)处处连续

\frac{F(x+\Delta x) - F(x)}{\Delta x} = \frac{1}{2\pi} \int_{-\infty}^{+\infty} \frac{e^{-itx}-e^{-it(x+ \Delta x)}}{it \Delta x} \varphi(t) dt

\lim_{\Delta a \rightarrow 0}\frac{F(x+\Delta x) - F(x)}{\Delta x} = f(x)

\lim_{\Delta x \rightarrow 0} \frac{1}{2\pi} \int_{-\infty}^{+\infty} \frac{e^{-itx}-e^{-it(x+ \Delta x)}}{it \Delta x} \varphi (t)dt = \frac{1}{2\pi} \int_{-\infty}^{+\infty} \lim_{\Delta x \rightarrow 0} \frac{e^{-itx}-e^{-it(x+ \Delta x)}}{it \Delta x}\varphi(t)dt

\frac{1}{2\pi} \int_{-\infty}^{+\infty} \lim_{\Delta x \rightarrow 0} \frac{e^{-itx}-e^{-it(x+ \Delta x)}}{it \Delta x}\varphi(t)dt = \frac{1}{2\pi} \int_{-\infty}^{+\infty}  e^{-itx} \varphi(t)dt

所以

f(x) =\frac{1}{2\pi} \int_{-\infty}^{+\infty}  e^{-itx} \varphi(t)dt

5.4 特征函数的基本性质

f(x) 是随机变量X的概率密度函数,X的期望是 \mu ,X的方差是 \sigma^2

\int_{-\infty}^{+\infty}f(x)dx = 1

\int_{-\infty}^{+\infty}xf(x)dx = \mu

\int_{-\infty}^{+\infty}(x-\mu)^2f(x)dx = \sigma^2

特征函数的本质就是概率函数的傅立叶变换

\varphi_{X}\left(t\right)=\int_{-\infty}^{+\infty}{e^{itx}\cdot f\left(x\right)\ dx}

特征函数的k次导数和k阶矩之间有密切的联系,为了简洁不妨设X的期望 \mu =0\varphi_X^{(k)}(t)=\left[ \int_{-\infty}^{+\infty}{e^{itx}\cdot f\left(x\right)\ dx} \right]^{(k)}= \int_{-\infty}^{+\infty}{(e^{itx})^{(k)}\cdot f\left(x\right)\ dx} =\int_{-\infty}^{+\infty}{(ix)^ke^{itx}\cdot f\left(x\right)\ dx}

\varphi^{'}(0)=\int_{-\infty}^{+\infty}{(ix)e^{0}\cdot f\left(x\right)\ dx}=i\int_{-\infty}^{+\infty}{x\cdot f\left(x\right)\ dx}=i\mu=0

\varphi^{''}(0)=\int_{-\infty}^{+\infty}{(ix)^2e^{0}\cdot f\left(x\right)\ dx}=-\int_{-\infty}^{+\infty}{x^2\cdot f\left(x\right)\ dx}=-\sigma^2

由于 f(x) 是概率函数,全积分的值为1,所以

\varphi(0)=\int_{-\infty}^{+\infty}f(x)dx=1

于是我们得到3个关键的特征函数值

\varphi(0)=1,\varphi^{'}(0)=0,\varphi^{''}(0)=-\sigma^2

特征函数的性质

\varphi_{X+Y}\left(t\right)=\varphi_X\left(t\right)\cdot\varphi_Y\left(t\right)

如果随机变量X服从标准正态分布N(0,1),那么X的概率密度函数就是

f(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}

对应的特征函数就是

\varphi(t)=\int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}\cdot e^{itx}dx=e^{-\frac{t^2}{2}}

这里需要用到简单的常微分方程,公式的推导如下:

\varphi(t)=\int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}\cdot e^{itx}dx

\varphi'(t)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{+\infty}(-xe^{-\frac{x^2}{2}}\cdot e^{itx}+ixe^{-\frac{x^2}{2}}\cdot e^{itx})dx

奇函数的对称积分为0,所以可以约去一部分

\varphi'(t)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{+\infty}ixe^{-\frac{x^2}{2}}\cdot e^{itx}dx = \frac{i}{\sqrt{2\pi}}\int_{-\infty}^{+\infty} e^{itx}d(-e^{-\frac{x^2}{2}})

利用分部积分法,得\varphi'(t)=\frac{i}{\sqrt{2\pi}} e^{itx}\cdot(-e^{-\frac{x^2}{2}})|_{-\infty}^{+\infty}- \frac{i}{\sqrt{2\pi}}\int_{-\infty}^{+\infty} -e^{-\frac{x^2}{2}}de^{itx} \\=-\frac{i}{\sqrt{2\pi}} e^{(itx-\frac{x^2}{2})}|_{-\infty}^{+\infty}- \frac{i}{\sqrt{2\pi}}\int_{-\infty}^{+\infty} ite^{itx}\cdot(-e^{-\frac{x^2}{2}})dx \\=-\frac{t}{\sqrt{2\pi}}\int_{-\infty}^{+\infty} e^{itx}\cdot(e^{-\frac{x^2}{2}})dx \\=-t\varphi(t)

于是我们获得一个微分方程:

\varphi'(t)=-t\varphi(t),\frac{d\varphi(t)}{dt}=-t\varphi(t)

于是有 \frac{d\varphi(t)}{\varphi(t)}=-tdt ,两边同时积分得

ln(\varphi(t))=-\frac{t^2}{2} + C

然后两边同时取 e 的指数,得到

\varphi(t)=e^{-\frac{t^2}{2}+C}

由于 \varphi(0)=1 ,所以 \varphi(0)=1=e^{0}=e^{0+C} ,所以 C=0 ,于是有

\varphi(t)=e^{-\frac{t^2}{2}}

也就是说,当概率密度函数是 f(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}} 时,特征函数为 \varphi(t)=e^{-\frac{t^2}{2}}

5.5 辉煌的中心极限定理

X_1,X_2,X_3,...,X_n 是n个独立同分布的随机变量, 期望E(X_i)=\mu ,方差 D(X_i)=\sigma^2 ,不妨设 Y_i=X_i-\mu ,那么 E(Y_i)=0D(Y_i)=\sigma^2

设随机变量 Y_i 的特征函数是 \varphi(t)

设随机变量 \eta=\frac{Y_1+Y_2+...+Y_n}{\sqrt{n}\sigma} ,那么 \eta 的特征函数就是

\left[ \varphi(\frac{t}{\sqrt{n}\sigma}) \right]\cdot\left[ \varphi(\frac{t}{\sqrt{n}\sigma}) \right]...\left[ \varphi(\frac{t}{\sqrt{n}\sigma}) \right]=\left[ \varphi(\frac{t}{\sqrt{n}\sigma}) \right]^{n}

n\rightarrow \infty 时, \frac{t}{\sqrt{n}\sigma} \rightarrow0 ,所以 \varphi(\frac{t}{\sqrt{n}\sigma}) 可以在0点处泰勒展开,

\varphi(\frac{t}{\sqrt{n}\sigma}) =\varphi(0)+\varphi^{'}(0)(\frac{t}{\sqrt{n}\sigma})+\frac{\varphi^{''}(0)}{2!}(\frac{t}{\sqrt{n}\sigma})^2+o((\frac{t}{\sqrt{n}\sigma})^2)

由于 \varphi(0)=1,\varphi^{'}(0)=0,\varphi^{''}(0)=-\sigma^2 ,所以

\left[ \varphi(\frac{t}{\sqrt{n}\sigma})  \right]^n= \left[ 1-\frac{t^2}{2n}+o((\frac{t}{\sqrt{n}\sigma})^2) \right] ^n= \left[ 1-\frac{t^2}{2n}+o((\frac{t}{\sqrt{n}\sigma})^2) \right] ^{(-\frac{2n}{t^2})(-\frac{t^2}{2})}

\lim_{n\rightarrow \infty}\left[ 1-\frac{t^2}{2n}+o((\frac{t}{\sqrt{n}\sigma})^2) \right] ^{(-\frac{2n}{t^2})(-\frac{t^2}{2})}=e^{-\frac{t^2}{2}}

e^{-\frac{t^2}{2}} 正好是服从标准正态分布 N(0,1) 的随机变量的特征函数,所以 \eta 服从标准正态分布。

编辑于 2019-11-01