NO.21.tip：泊松过程

背景

泊松过程（Poisson process）最早是由法国人 Poisson 于 1837 年引入的，故得名。

定义：一随机过程 ${N (t), t \geq 0}$ 称为时齐泊松过程，若满足：

是一计数过程，且 $N (0) = 0$ ；

是独立增量过程，即任取 $0 < t_{1} < t_{2} < \dots < t_{n}$ ，
$(N (t_{1}), N (t_{2}) - N (t_{1}), \dots, N (t_{n}) - N (t_{n - 1}))$ 相互独立；

增量平稳性，即 $\forall s, t \geq 0, n \geq 0$ ，
$P [N (s + t) - N (s) = n] = P [N (t) = n]$ ；

对任意 $t > 0$ 和充分小的 $Δ t > 0$ ，有 $⎩ ⎨ ⎧ P [N (t + Δ t) - N (t) = 1] = λ Δ t + o (Δ t), P [N (t + Δ t) - N (t) \geq 2] = o (Δ t) . (1)$ 其中 $λ > 0$ （称为强度常数）， $o (Δ t)$ 为高阶无穷小，即 $Δ t \to 0 lim \frac{o ( Δ t )}{Δ t} = 0$ 。

时齐泊松过程（有时简称为泊松流），是一种既典型又简单的，应用极其广泛的随机过程。 $N (t)$ 可表示在 $[0, t]$ 时间随机事件发生的个数，它可用于刻画"顾客流"、"粒子流"、"信号流"等的概率特性。

考虑某电话交换台在 $[0, t]$ 内来的呼唤数，记为 $N (t)$ 。显然它是一计数过程。若它是一平稳独立增量过程，且在一很短时间间隔 $Δ t$ 内来一次呼唤的概率与 $Δ t$ 成正比，来一次以上呼唤的概率是 $Δ t$ 的高阶无穷小，则 ${N (t), t \geq 0}$ 就是泊松过程。 $N (t)$ 表示在 $[0, t]$ 内事件发生的个数。

源与流

首先有下面的重要定理

定理：若 ${N (t), t \geq 0}$ 为泊松过程，则 $\forall s, t \geq 0$ ，有 $P [N (s + t) - N (s) = k] = \frac{( λ t ) ^{k}}{k !} e^{- λ t}, k \in N_{0}, (2)$ 即 $N (t + s) - N (s)$ 是参数为 $λ t$ 的泊松分布。

证明

由增量平稳性，记 $P_{n} (t) = P (N (t) = n) = P (N (s + t) - N (s) = n) .$

先看 $n = 0$ 的情形。因 $(N (t + h) = 0) = (N (t) = 0, N (t + h) - N (t) = 0), h > 0,$

故 $P_{0} (t + h) = P (N (t + h) = 0) = P (N (t) = 0, N (t + h) - N (t) = 0) = P (N (t) = 0) P (N (t + h) - N (t) = 0) （增量独立） = P_{0} (t) P_{0} (h) .$

另一方面 $P_{0} (h) = P (N (t + h) - N (t) = 0) = 1 - (λh + o (h)) .$

代入上式，有 $\frac{P _{0} ( t + h ) - P _{0} ( t )}{h} = - (λ P_{0} (t) + \frac{o ( h )}{h}) .$

令 $h \to 0$ ，两边取极限，得 $P_{0}^{'} (t) = - λ P_{0} (t) .$

这是一阶线性常系数微分方程。由初始条件 $P_{0} (0) = P (N (0) = 0) = 1$ ，可得 $P_{0} (t) = e^{- λ t} . (3)$

再看 $n > 0$ 的情形，因 ${N (t + h) = n} = {N (t) = n, N (t + h) - N (t) = 0} \cup {N (t) = n - 1, N (t + h) - N (t) = 1} \cup l = 2 ⋃ n {N (t) = n - l, N (t + h) - N (t) = l},$

故 $P_{n} (t + h) = P_{n} (t) (1 - λh - o (h)) + P_{n - 1} (t) (λh + o (h)) + o (h) .$

化简可得 $\frac{P _{n} ( t + h ) - P _{n} ( t )}{h} = - λ P_{n} (t) + λ P_{n - 1} (t) + \frac{o ( h )}{h} .$

令 $h \to 0$ ，两边取极限，有 $P_{n}^{'} (t) = - λ P_{n} (t) + λ P_{n - 1} (t) .$

将上式两边乘以 $e^{λ t}$ ，移项后可得 $\frac{d}{d t} [e^{λ t} P_{n} (t)] = λ e^{λ t} P_{n - 1} (t),$

且满足初始条件 $P_{n} (0) = P (N (0) = n) = 0.$

当 $n = 1$ 时 $\frac{d}{d t} [e^{λ t} P_{1} (t)] = λ .$

注意到初始条件 $P_{1} (0) = 0$ ，可得 $P_{1} (t) = (λ t) e^{- λ t} .$

再用归纳法即有 $P_{n} (t) = \frac{( λ t ) ^{n}}{n !} e^{- λ t} . (4)$

为了应用方便，给出以下等级啊定义

定义：一计数过程 ${N (t), t \geq 0}$ 称为参数是 $λ$ 的时齐泊松过程，若满足：

$N (0) = 0$ ；

是独立增量过程；

$\forall s, t \geq 0, N (s + t) - N (s) \sim P (λ t)$ ，即其增量是参数为 $λ t$ 的泊松分布。

相邻时间的时间间隔，泊松过程与指数分布的关系

我们用过程的样本函数的特性来刻画泊松过程，从而揭示它与指数分布之间的内在联系。

设 ${N (t), t \geq 0}$ 是一计数过程， $N (t)$ 表示在 $[0, t]$ 内事件发生（或"顾客"到达）的个数。令 $S_{0} = 0$ ， $S_{n}$ 表示第 $n$ 个事件发生的时刻 $(n \geq 1)$ ， $X_{n} = S_{n} - S_{n - 1} (n \geq 1)$ 表示第 $n - 1$ 个事件与第 $n$ 个事件发生的时间间隔。用式子表示为 ${S_{0} = 0, S_{n} = in f {t : t > S_{n - 1}, N (t) = n}, n \geq 1.$

注意，此时对 $t \geq 0$ ，下列事件等价： ${(N (t) \geq n) = (S_{n} \leq t), (N (t) = n) = (S_{n} \leq t < S_{n + 1}) = (S_{n} \leq t) - (S_{n + 1} \leq t) .$

这里 $in f {t}$ 表示集合 ${t}$ 的下确界，即集合的最大下界。例如 $in f {\frac{1}{n} : n = 1, 2, \dots} = 0$ 。于是 $\forall t \geq 0, n \geq 0$ ，有 ${S_{n} \leq t} = {N (t) \geq n}$ ， ${N (t) = n} = {S_{n} \leq t < S_{n + 1}}$ 。

因此， $S_{n}$ 的分布函数为：当 $t < 0$ 时， $P (S_{n} \leq t) = 0$ ；当 $t \geq 0$ 时，有 $P (S_{n} \leq t) = P (N (t) \geq n) = 1 - e^{- λ t} k = 0 \sum n - 1 \frac{( λ t ) ^{k}}{k !} . (5)$

$S_{n}$ 的概率密度函数为 $f_{S_{n}} (t) = \frac{λ ( λ t ) ^{n - 1}}{( n - 1 )!} e^{- λ t} I_{(t \geq 0)} . (6)$

特别是当 $n = 1$ 时，有 $P (X_{1} \leq t) = P (S_{1} \leq t) = (1 - e^{- λ t}) I_{(t \geq 0)}, (7)$ 即 $X_{1} \sim E (λ)$ 是参数为 $λ$ 的指数分布。那么， $X_{2}, \dots, X_{n}, \dots$ 又如何呢？它们之间的关系又会怎样呢？有如下漂亮的结果。

定理：计数过程 ${N (t), t \geq 0}$ 是泊松过程的充分必要条件是 ${X_{n}, n \geq 1}$ 是独立且参数同为 $λ$ 的指数分布。

证明：

先证必要性。步骤如下：

第一步，求 $(S_{1}, S_{2}, \dots, S_{n})$ 的联合概率密度。令 $t_{1} < t_{2} < \dots < t_{n}$ ，取充分小的 $h > 0$ ，使 $t_{1} - \frac{h}{2} < t_{1} < t_{1} + \frac{h}{2} < t_{2} - \frac{h}{2} < t_{2} < t_{2} + \frac{h}{2} < \dots < t_{n - 1} + \frac{h}{2} < t_{n} - \frac{h}{2} < t_{n} < t_{n} + \frac{h}{2},$

由 ${t_{1} - \frac{h}{2} < S_{1} \leq t_{1} + \frac{h}{2} < t_{2} - \frac{h}{2} < S_{2} \leq t_{2} + \frac{h}{2} < \dots < t_{n} - \frac{h}{2} < S_{n} \leq t_{n} + \frac{h}{2}} = {N (t_{1} - \frac{h}{2}) = 0, N (t_{1} + \frac{h}{2}) - N (t_{1} - \frac{h}{2}) = 1, N (t_{2} - \frac{h}{2}) - N (t_{1} + \frac{h}{2}) = 0, \dots, N (t_{n} + \frac{h}{2}) - N (t_{n} - \frac{h}{2}) = 1} \cup H_{n},$

其中 $H_{n} = {N (t_{1} - \frac{h}{2}) = 0, N (t_{1} + \frac{h}{2}) - N (t_{1} - \frac{h}{2}) = 1, \dots, N (t_{n} + \frac{h}{2}) - N (t_{n} - \frac{h}{2}) \geq 2},$

得 $P {t_{1} - \frac{h}{2} \leq S_{1} \leq t_{1} + \frac{h}{2} < t_{2} - \frac{h}{2} \leq S_{2} \leq t_{2} + \frac{h}{2} < \dots < t_{n} - \frac{h}{2} \leq S_{n} \leq t_{n} + \frac{h}{2}} = (λh)^{n} e^{- λ (t_{n} + \frac{h}{2})} + o (h^{n}) = λ^{n} e^{- λ t_{n}} h^{n} + o (h^{n}) .$

所以 $(S_{1}, S_{2}, \dots, S_{n})$ 的联合概率密度函数为 $g (t_{1}, t_{2}, \dots, t_{n}) = {λ^{n} e^{- λ t_{n}}, 0, 0 < t_{1} < t_{2} < \dots < t_{n}, 其他 . (8)$

第二步，求 $(X_{1}, X_{2}, \dots, X_{n})$ 的联合概率密度。注意到 $X_{n} = S_{n} - S_{n - 1} (n \geq 1)$ ，令 $x_{n} = t_{n} - t_{n - 1}$ ，则变换的雅可比（Jacobian）行列式为 $J = \frac{\partial ( t _{1} , t _{2} , \dots , t _{n} )}{\partial ( x _{1} , x _{2} , \dots , x _{n} )} = 111 ⋮ 1 011 ⋮ 1 001 ⋮ 1 \dots \dots \dots ⋱ \dots 000 ⋮ 1 = 1,$

于是 $(X_{1}, X_{2}, \dots, X_{n})$ 的联合概率密度为 $f (x_{1}, x_{2}, \dots, x_{n}) = {λ^{n} e^{- λ (x_{1} + x_{2} + \dots + x_{n})}, 0, x_{i} \geq 0, 1 \leq i \leq n, 其他 . (9)$

由上可得 $X_{k}$ 的概率密度为 $f_{k} (x_{k}) = λ e^{- λ x_{k}}, x_{k} \geq 0, 1 \leq k \leq n$ 。于是 $f (x_{1}, x_{2}, \dots, x_{n}) = k = 1 \prod n f_{k} (x_{k}), (10)$ 即证明了 $(X_{k}, 1 \leq k \leq n) (n \in N)$ 独立同指数分布。必要性证毕。

下面证明充分性。设 ${X_{k}, k \geq 1}$ 独立同指数分布。令 $S_{0} = 0, S_{1} = X_{1}, \dots, S_{n} = \sum_{k = 1}^{n} X_{k}$ ，对 $\forall t > 0$ ，定义 $N (t) = \sum_{n = 1}^{+ \infty} I_{(S_{n} \leq t)}$ 。由上定义可验证 ${N (t), t \geq 0}$ 是计数过程。下面仍分三步证明它是泊松过程。

第一步求 $(S_{1}, S_{2}, \dots, S_{n})$ 的联合概率密度及 $N (t)$ 的分布。注意到证必要性第二步的逆过程仍成立，即由 $X_{1}, X_{2}, \dots, X_{n}$ 的联合概率密度 $f (x_{1}, x_{2}, \dots, x_{n}) = k = 1 \prod n λ e^{- λ x_{k}}, x_{k} \geq 0, 1 \leq k \leq n,$

经 $S_{1} = X_{1}, \dots, S_{n} = \sum_{k = 1}^{n} X_{k}$ ，可得 $S_{1}, S_{2}, \dots, S_{n}$ 的联合概率密度为 $g (t_{1}, t_{2}, \dots, t_{n}) = {λ^{n} e^{- λ t_{n}}, 0, 0 \leq t_{1} \leq t_{2} \leq \dots \leq t_{n}, 其他 . (11)$

由上可得 $S_{n}$ 的分布为 $P (S_{n} \leq t) = 1 - e^{- λ t} (1 + λ t + \dots + \frac{( λ t ) ^{n - 1}}{( n - 1 )!}) . (12)$

故 $P (N (t) = n) = P (S_{n} \leq t < S_{n + 1}) = P (S_{n} \leq t) - P (S_{n + 1} \leq t) = \frac{( λ t ) ^{n}}{n !} e^{- λ t} . (13)$

第二步证平稳性。这里只写出对 $n \geq 1$ 的证明。利用全概率公式，有 $P (N (s + t) - N (s) = n) = k = 0 \sum \infty P (N (s) = k, N (s + t) = k + n) = k = 0 \sum \infty P (S_{k} \leq s < S_{k + 1} < S_{k + n} \leq s + t < S_{k + n + 1}) = P (s < S_{1} \leq S_{n} \leq s + t < S_{n + 1}) + k = 1 \sum \infty \int_{0}^{s} P (S_{k} \leq s < S_{k} + X_{k + 1} \leq S_{k} + i = 1 \sum n X_{k + i} \leq s + t < S_{k} + i = 1 \sum n + 1 X_{k + i} S_{k} = u) d P (S_{k} \leq u) = P (s < S_{1} \leq S_{n} \leq s + t < S_{n + 1}) + k = 1 \sum \infty \int_{0}^{s} P (s - u < S_{1} \leq S_{n} \leq s + t - u < S_{n + 1}) d P (S_{k} \leq u) .$

又由 $X_{1}, \dots, X_{n}$ 独立同分布，可得 $P (s < S_{1} \leq S_{n} \leq s + t < S_{n + 1}) = \int_{s}^{s + t} P (i = 2 \sum n X_{i} \leq s + t - v < i = 2 \sum n + 1 X_{i} X_{1} = v) λ e^{- λ v} d v = \int_{s}^{s + t} P (S_{n - 1} \leq s + t - v < S_{n}) λ e^{- λ v} d v = \int_{s}^{s + t} \frac{[ λ ( s + t - v ) ] ^{n - 1}}{( n - 1 )!} e^{- λ (s + t - v)} λ e^{- λ v} d v = \frac{( λ t ) ^{n}}{n !} e^{- λ (s + t)} .$

类似地，有 $P (s - u < S_{1} \leq S_{n} \leq s + t - u < S_{n + 1}) = \frac{( λ t ) ^{n}}{n !} e^{- λ (s + t - u)}$ ，故 $P (N (s + t) - N (s) = n) = \frac{( λ t ) ^{n}}{n !} e^{- λ (s + t)} + \int_{0}^{s} \frac{( λ t ) ^{n}}{n !} e^{- λ (s + t - u)} λ d u = \frac{( λ t ) ^{n}}{n !} e^{- λ (s + t)} + \frac{( λ t ) ^{n}}{n !} e^{- λ (s + t)} (e^{λ s} - 1) = \frac{( λ t ) ^{n}}{n !} e^{- λ t} = P (N (t) = n) . (14)$

（注：对 $n = 0$ 情形类似证明）

第三步证增量独立性。为突出方法，这里仅证 $\forall s, t > 0$ ， $N (s)$ 与 $N (s + t) - N (s)$ 相互独立，即证 $\forall n, m \geq 0$ ，有 $P (N (s) = m, N (s + t) - N (s) = n) = P (N (s) = m) P (N (s + t) - N (s) = n) .$

只写出 $m \geq 1$ 与 $n \geq 1$ 的情形，其他可类似证之。 $P (N (s) = m, N (s + t) - N (s) = n) = P (S_{m} \leq s < S_{m + 1} \leq S_{m + n} \leq s + t < S_{m + n + 1}) = \int_{0}^{s} P (s - u < X_{m + 1} \leq i = 1 \sum n X_{m + i} \leq s + t - u \leq i = 1 \sum n + 1 X_{m + i} S_{m} = u) d P (S_{m} \leq u) = \int_{0}^{s} P (s - u \leq S_{1} \leq S_{n} \leq s - u + t < S_{n + 1}) d P (S_{m} \leq u) = \int_{0}^{s} \frac{( λ t ) ^{n}}{n !} e^{- λ (s - u + t)} \frac{λ ( λ u ) ^{m - 1}}{( m - 1 )!} e^{- λ u} d u = \frac{( λ s ) ^{m}}{m !} e^{- λ s} \frac{( λ t ) ^{n}}{n !} e^{- λ t} = P (N (s) = m) P (N (s + t) - N (s) = n) . (15)$

概率统计100问

NO.21.tip： 泊松过程

背景

源与流

NO.21.tip：泊松过程