
正巧遇到了一个我比较擅长的随机过程。之前我曾经写过两篇文章介绍过泊松过程,分别为
拉普拉斯算符:积分方程法推导泊松过程
拉普拉斯算符:路径积分法推导泊松过程
我就简单地介绍一下我的这两篇文章。作为科普,我尽可能少用公式。
泊松过程是一个计数过程。为了方便表述,记 为 单位时间内事件发生的次数。这里的事件次数可能是指一段时间内到达某餐厅的顾客人数,也可能是某段时期内某地发生六级以上地震的次数,等等。
现在问题来了:有两个同样长度的时间段,一个是 ,另一个是 ,它们的时间间隔相同,但是落在时间轴上不同的位置,请问如何区分发生在这两个时间区间的事件次数?如果要区分事件发生在时间轴的具体位置,那么用 来表示 单位时间内事件发生的次数是显然不够的,因为这个记号只记录了时间段的长度,没有记录时间段所在的具体位置。在泊松过程里,这个问题被简化了。泊松过程假设,一段时间内事件发生次数与该时间段所在的具体位置无关,只与该时间段的长度有关。所以我们可以用 来表示 单位时间内事件发生的次数。于是这就引出了泊松过程的第一个重要假设:
假设1:一段时间内事件发生的次数只与该时间段的长度有关,与时间段所在的具体位置无关。
有了这个假设,泊松过程就是一个(弱)平稳随机过程。根据这个假设,我们就可以说,某地从1800年到1899年这一百年发生三次六级以上地震的概率等于该地从1900到1999年发生三次六级以上地震的概率。这意味着该地的地质状况是稳定的。
另外, 在泊松过程里,一个事件在 之间发生次数的概率分布不会影响该事件在一个后来的时间段 内事件发生次数的概率分布。这就意味着泊松过程是无记忆的。例如某地平均一百年发生三次以上六级地震。但是如果不巧从1800年到1899年这里已经发生了五次六级以上的地震,那么接下来的一百年,即从1900年到1999年,该地发生地震的平均次数会降低吗?泊松过程说,不会。之前发生了什么,与之后会发生什么没有关系。这就引出了泊松过程的第二个重要假设:
假设2:泊松过程具有独立的增量。泊松过程是无记忆的。
前面的两个假设其实对很多随机过程都成立。为了研究随机过程,人们通常都会做前面的两个假设,因为这两个假设可以极大地简化问题。满足前面两个假设的随机过程叫做平稳独立增量随机过程。最典型的, 布朗运动也满足这两个假设。但是泊松分布还有另一个极为重要的假设, 这个假设将泊松过程与其他的随机过程区分开了,并且这个假设给出了泊松分布的解析表达式。这个假设也很符合直觉,它就是
假设3:在一段极短的时间里,事件发生一次的概率正比于该时间段的长度。
这个假设的意思是,给定一个时间区间 ,如果 ,那么这个时间段内,事件发生的次数服从这样的概率分布:
这里的参数 表示事件发生的强度。 越大,表示短时间内事件发生一次的概率越大。
有了三个假设,就可以推导泊松分布的具体表达式了。泊松分布说,在时间段 内,事件发生的次数服从这样的分布:
为了得到这个表达式,前面的三个假设缺一不可。其中前面的两个假设给出概率分布所应该满足的方程,第三个假设给出这个方程的初始条件。如果将第三个假设换成其他的形式,则可以得到其他类型的概率分布。为了不增加科普文章的阅读难度,我就大致说一下如何根据前面的三个假设得到泊松分布的具体表达式。具体的细节可以看我的文章。
我用的方法其实是受了费曼这篇文章 Space-Time Approach to Non-Relativistic Quantum Mechanics 的启发,同时也受了《算法导论》里面动态规划算法的启发。无论是按照费曼论文的思想,还是按照动态规划算法的思想,我们在遇到一个问题的时候,都是希望将它降解为一系列简单的可解的小问题,然后想办法将这些小问题的解答整合成为原始问题的解。为了得到 时间区间内事件发生次数的概率分布,我首先将时间区间砍一刀,将它分为两个相邻的时间区间,分别为 . 这里,我在 时刻手起刀落,将时间区间 砍作两段,然后分别研究发生在区间 里面的事件发生次数,然后将两个次数相加,就得到了整个区间 里面事件的发生次数。因为泊松过程具有独立增量,所以我可以单独研究区间段 和 ,而不必担心二者会发生交叉影响。这就跟动态规划的问题很类似了。在动态规划里,我们需要考虑分割后的得到的子问题与原来的问题是否相似。显然,时间区间 里事件发生的次数与时间区间 里事件发生的次数应该是有相似的分布,唯一的区别就是将 换成 。但是区间 里面事件发生的次数就与 之间事件发生的次数不太一致了(貌似),因为前者的初始时刻不是0,而是 . 如果在动态规划里,这就意味着,我们需要两个指标 分别表示时间区间的左端和右端。但是在这里我们并不需要这么做,因为这时泊松过程的第一个假设起作用了。这个假设说,泊松过程是一个平稳随机过程,所以 和 是不可区分的。因此,只要我们可以解决 两个子问题,我们就可以解决 这个问题。而这两个子问题和原来的问题形式完全一样,所以我们可以继续对子时间段做切割,如此反复,直到将时间段缩短到没必要再缩短。什么时候没必要继续缩短时间段了呢?这就用到了泊松过程的第三个假设,那就是如果时间段足够短,我们可以直接写出该时间段内事件发生次数的概率分布,为
这个不能再缩短的时间段就构成了我们要求解的方程的初始条件。如果继续用动态规划的语言来说,这个条件就是动态规划问题的初始条件。
上面的这个思路跟徐一鸿的Quantum field theory in a nutshell一书中第1.2节所描述的费曼路径积分的推导思路也非常类似。费曼也是将双缝衍射试验做拓展,通过在点S和O之间加上越来越多的隔板,同时在每个隔板上钻越来越多的孔,以此来解释为什么从S到O的概率振幅是所有可能路径的叠加,如下图所示(图片均来自徐一鸿的Quantum field theory in a nutshell):
这其实就是将时空做了无穷多次切割,最后得到了量子力学的路径积分表述。
回到泊松过程。下面是一些具体的数学推导,详细说明如何得到泊松分布的解析表达式。如果不感兴趣可以跳过。
根据前面的结果,可以得到一个恒等式:
使用泊松过程的独立增量和平稳性两个假设,可以将上面的恒等式写作
因为这是一个计数过程,所以随机变量的取值只能为非负数。可以假设变量 的概率密度函数为 ,那么根据上面的关系(类比 ,其中 是彼此独立的随机变量),我们有一个关于概率密度的积分方程为
对上面的积分方程做拉普拉斯变换,得到
上面的式子可以看作是以 为变量,以 为参数的函数方程。记 ,于是函数方程为
.
令 ,得到
该式子的非平庸解为
函数方程两边同时对 求微分,得到
令 ,代入 , 得到
解方程得到
因为 ,所以 . 于是概率密度的拉普拉斯变换为
这是一个指数映射,跟李代数到李群的映射完全一致。所以可以将 称作该随机过程的生成元, 在这个意义下, 构成了一个以时间坐标 为参数的单参数李群。如果我们能找到 的表达式,我们就可以找到概率密度的拉普拉斯变换, 从而得到概率密度。问题是如何得到 ? 这就需要泊松过程的第三个假设,也就是这个假设给出了该微分方程的边界条件。
根据拉普拉斯变换的定义,
那么
已知当 时,
于是在时刻 附近,
对时间求微分为
对该式子做拉普拉斯变换得到
所以任意时刻概率密度的拉普拉斯变换为
求拉普拉斯逆变换,得到 的概率密度函数为
证明完毕。
这里重点讲了第一篇文章,第二篇文章思路也是类似的,无非就是将时间段反复切割,得到递归方程,解方程,得到最终的结果。这个我就不再写了。这是趁着中午吃饭时间写的,行文比较仓促,如果有错误的地方欢迎指出。
