Lecture 17 - 2025 / 4 / 17
Martingale
Definition (filter): ∅=F0⊆F1⊆F2⊆⋯⊆Fn 是一个概率空间上的递增 σ-代数。
例如 Fn=Z1,⋯,Zn,其中 Zi 是随机变量。
Definition (martingale): (Xi) 是关于 (Fi) 的鞅,如果满足
E[Xi∣Fi−1]=Xi−1
Azuma Inequality
Lemma: 对于 r.v. X,若 ∣X∣≤1,E[X]=0,则 E[etX]≤et2/2。
根据凸性和 Taylor 展开,E[etX]≤21(et+e−t)≤et2/2。
Theorem: 设 (Xi) 是关于 (Fi) 的鞅,Yi=Xi−Xi−1 是“差异”序列,如果 ci>0 使得 ∣Yi∣≤ci,则
Pr[Xn≥X0+λ]Pr[Xn≤X0−λ]≤ exp(−2∑i=1nci2λ2)
当 n=1 时,∣X1−X0∣≤c1,则
Pr[X1≥X0+λ]=tminPr[et(X1−X0)≥etλ]≤tminetλE[et(X1−X0)]≤tminexp(2c12t2−tλ)=exp(−2c12λ2)
接下来归纳,
Pr[Xn≥X0+λ]≤tminetλE[et(Xn−Xn−1)⋅et(Xn−1−X0)]=tminetλEFn−1[E[et(Xn−Xn−1)∣Fn−1]⋅et(Xn−1−X0)]≤tminetλecn2t2/2⋅E[et(Xn−1−X0)]≤tminetλecn2t2/2⋅exp(−λ2/2∑i=1n−1ci2)≤exp(−2∑i=1nci2λ2)
Doob Martingale
Claim: 设 A,(Zi) 是 r.v.,则 Xi=E[A∣Z1,⋯,Zi] 是鞅,称之为 A 的 Doob 鞅。
验证定义即可:
E[Xi∣Z1,⋯,Zi−1]=EZi[E[Xi∣Z1,⋯,Zi]∣Z1,⋯,Zi−1]=EZi[E[A∣Z1,⋯,Zi]∣Z1,⋯,Zi−1]=E[A∣Z1,⋯,Zi−1]=Xi−1
Definition: f(Z1,⋯,Zn) 是 c-Lipschitz 函数,当且仅当改变 f 的任何一个坐标值,f 的变化绝对值不超过 ±c。
Lemma: 如果 f 是 c-Lipschitz 函数,给定 Z1,⋯,Zi−1 的条件下,Zi 与 Zi+1,⋯,Zn 相互独立,则 f 关于 Zi 的 Doob 鞅 (Xi) 满足 ∣Xi−Xi−1∣≤c。
我们根据定义对 ∣Xi−Xi−1∣ 进行展开
=∣EZi+1,⋯,Zn[f∣Z1,⋯,Zi]−EZi,⋯,Zn[f∣Z1,⋯,Zi−1]∣=∣EZi+1,⋯,Zn[f∣Z1,⋯,Zi]−EZi+1,⋯,Zn[EZi[f∣Z1,⋯,Zi−1,Zi+1,⋯,Zn]∣Z1,⋯,Zi−1]∣=∣EZi+1,⋯,Zn[f(Z1,⋯,Zi,⋯,Zn)∣Z1,⋯,Zi−1]−EZi+1,⋯,Zn[EZi[f(Z1,⋯,Zn)∣Z1,⋯,Zi−1,Zi+1,⋯,Zn]∣Z1,⋯,Zi−1]∣=∣EZi+1,⋯,Zn[f(Z1,⋯,Zi,⋯,Zn)−EZi[f(Z1,⋯,Zi,⋯,Zn)∣Z1,⋯,Zi−1,Zi+1⋯,Zn]∣Z1,⋯,Zi−1]∣=∣EZi+1,⋯,Zn[EZi[f(Z1,⋯,Zi,⋯,Zn)−f(Z1,⋯,Zi,⋯,Zn)∣Z1,⋯,Zi−1,Zi+1⋯,Zn]∣Z1,⋯,Zi−1]∣
注意这里 Zi 是已知量,而 Zi 是未知量,可以看作两者是独立同分布的变量。从而每一项均 ≤c,由此结论成立。
Applications: Balls and Bins
m 个球 n 个桶,Zi 是 i 号球选择的桶,X=f(Z1,⋯,Zm) 是空桶的个数。容易看出 f 是 1-Lipschitz 的,从而
Pr[∣X−E[X]∣≥λ]≤2exp(−2mλ2)
这是 Chernoff bound 所不能得到的结论。
Applications: Chromatic Number of Gn,1/2
染色数 χ(G) 代表最少需要的颜色数量,使得存在一组同色不相邻的方案。
对于随机图我们有两种常见的鞅。
Edge Exposure Martingale: 用 Zi=0/1 表示第 i 条边是否在图中出现,则 A=f(Z1,⋯,Z(2n)) 的 Doob 鞅是 edge exposure maringle。
Vertex Exposure Martingle: 用 Zi∈{0,1}n−i 代表是否 i 和 j(满足 j>i)的边是存在的,则 A=f(Z1,⋯,Zn) 的 Doob 鞅是 vertex exposure martingle。
这里我们使用后者,用 X=f(Z1,⋯,Zn) 代表 χ(G),则容易看出 f 是 1-Lipschitz 的。从而
Pr[∣X−E[X]∣≥λ]≤2exp(−2nλ2)
注意我们不依赖任何关于 E[X] 的知识,给出了一个 concentration bound。