Lecture 13 - 2025 / 3 / 31

Power of 2 Choices (2)

Theorem: 将 $n$ 个球独立放入 $n$ 个桶中，每个球随机选择两个桶，放入负载较小的那个桶，最大负载量 w.h.p 不超过 $\dfrac{\ln \ln n}{\ln 2} + \Theta(1)$。

分两个阶段对该定理进行证明。不妨设 $\beta_6 = \dfrac{n}{2e}$，则 $B_6 \le \beta_6$ 是 trivial 的，因为 $\ge 6$ 的桶的个数不超过 $\dfrac{n}{6} < \dfrac{n}{2e}$。对于 $i > 6$，定义 $\beta_{i+1} = \dfrac{e\beta_i^2}{n}$。

Claim: 对于任意 $i > 6, \beta_i^2 \ge 2n \ln n$ 时，有 $\Pr[B_i > \beta_i] \le \dfrac{i}{n^2}$。

归纳法。显然有 $\Pr[B_{i+1} > \beta_{i+1}] \le \Pr[B_{i+1} > \beta_{i+1}, B_{i} \le \beta_i] + \Pr[B_i > \beta_i]$。后项根据归纳假设 $\le \dfrac{i}{n^2}$。

接下来试图说明前一项不超过 $\Pr[\mathcal B(n, (\beta_i / n)^2) > \beta_{i+1}]$，从而根据 Chernoff bound $\Pr[X \ge e\mu] \le e^{-\mu}$ 得知不超过 $\exp(-\beta_i^2/n) \le \dfrac{1}{n^2}$，于是即可证毕。

定义 $B_i^{(j)}$ 代表当我们放置第 $j$ 个球之前，负载量 $\ge i$ 的桶的个数。用 $X_j$ 作为第 $j$ 个球的高度是否 $\ge i+1$ 的 indicator。则易见 $B_{i+1} \le \sum X_j$。
$$\begin{aligned} \Pr[B_{i+1} > \beta_{i+1}, B_i \le \beta_i] & \le \Pr\left[\sum_{j=1}^{n} X_j > \beta_{i+1}, B_i \le \beta_i\right] \\ \end{aligned}$$

从而将右侧写作 $\sum_{\sum x_j > \beta_{i+1}} \Pr[X_1 = x_1, \cdots, X_m = x_m, B_i \le \beta_i]$，对于其中每一项
$$\begin{aligned} & \Pr[X_1 = x_1, \cdots, X_m = x_m, B_i \le \beta_i] \\ =\ & \Pr[X_1 = x_1, \cdots, X_m = x_m, B_i^{(1)} \le \beta_i, \cdots, B_i^{(m)} \le \beta_i] \\ \le\ & \Pr[X_1 = x_1, B_i^{(1)} \le \beta_i] \cdots \Pr[X_m = x_m, B_i^{(m)} \le \beta_i \mid X_j = x_j, B_i^{(j)} \le \beta_i] \\ = \ & f_1(x_1) \cdots f_m(x_m; x_1, \cdots, x_{m-1}) \end{aligned}$$

其中 $f_j(x_j; x_1, \cdots, x_{j-1}) = \Pr[X_j = x_j, B_i^{(j)} \le \beta_i \mid X_1 = x_1, B_i^{(1)} \le \beta_{i}, \cdots, X_{j-1} = x_{j-1}, B_i^{(j-1)} \le \beta_{i}]$。下面说明 $f_j(1, x_1, \cdots, x_{j-1}) \le (\beta_i / n)^2$。

实际上这是因为，我们可以通过全概率公式枚举 $B_i^{(j)}$ 的值，而 condition on $B_i^{(j)}$ 的值后，$\Pr[X_j = x_j]$ 是完全与 $x_1, \cdots, x_{j-1}$ 的情况无关的。也就是说，
$$\begin{aligned} f_j(1, x_1, \cdots, x_{j-1}) & = \sum_{b_i^{(j)} \le \beta_i} \Pr[X_j = 1 \mid B_i^{(j)} = b_i^{(j)}] \Pr[ B_i^{(j)} = b_i^{(j)} \mid \cdots] \\ & \le \left( \frac{\beta_i}{n} \right)^2 \sum_{b_i^{(j)} \le \beta_i} \Pr[ B_i^{(j)} = b_i^{(j)} \mid \cdots]\\ & = \left( \frac{\beta_i}{n} \right)^2 \end{aligned}$$

至此，我们证明了 $f_j(x_j \mid x_1, \cdots, x_{j-1}) \preceq \mathcal B(1, (\beta_i / n)^2)$。根据 stochastic dominance 的 Lemma 证毕。

设 $i^*$ 是第一个满足 $\beta_i^2 < 2n \ln n$ 的 $i$，则容易看出 $i^* = \dfrac{\ln \ln n}{\ln 2} + O(1)$，我们手动分析最后两个阶段。

Claim: $\Pr[B_{i^* + 1} \ge 6 \ln n] = O(1/n)$

根据 $\Pr[B_{i^* + 1} \ge 6 \ln n] \le \Pr[B_{i^* + 1} \ge 6 \ln n, B_{i^*} \le \sqrt{2n \ln n}] + \Pr[B_{i^*} > \sqrt{2n \ln n}]$，后面一项由前面的归纳法 $\le 1/n$，而前面一项使用前面类似的 Stochastic dominance 的技术 $\le \Pr[\mathcal B(n, 2\ln n / n) \ge 6 \ln n] \le 1/n^2$（Chernoff bound）。

Claim: $\Pr[B_{i^* + 2} \ge 1] \le O(\log^2 n / n)$。

根据 $\Pr[B_{i^* + 2} \ge 1] \le \Pr[B_{i^* + 2} \ge 1, B_{i^* + 1} \le 6 \ln n] + \Pr[B_{i^* + 1} > 6 \ln n]$，后面一项由前面的 Claim $\le O(1/n)$，而前面一项使用 Stochastic dominance 的技术 $\le \Pr[\mathcal B(n, (6 \ln n / n)^2) \ge 1] \le (6 \ln n)^2 / n$（union bound）。

事实上，最大负载量的下界也是 w.h.p $\Omega(\ln \ln n)$ 的。如果每次选择 $d$ 个桶，则最大负载量 w.h.p 是 $\dfrac{\ln \ln n}{\ln d } + O(1)$。

Galton-Watson Branching Process

设 $X$ 是一个非负整数 r.v.，$X$ 定义的分支过程从时间 $0$ 的一个单点开始，每次分支生成 $x \sim X$ 个儿子，并对每个儿子分别独立进行下去。

用 $Z_i$ 代表时间 $i$ 的结点数量，则 $Z_0 = 1$，将灭绝的概率定义为
$$\Pr[\text{extinction}] = \lim_{n\to \infty} \Pr[Z_n = 0]$$

Theorem: 对于一个 $X$ 定义的分支过程，$\Pr[X = 1] < 1, \Pr[X = 0] > 0$，有

• 如果 $\mathbb E[X] \le 1$ 则 $\lim_{n \to \infty} \Pr[Z_n = 0] = 1$
• 如果 $\mathbb E[X] > 1$ 则 $\lim_{n \to \infty} \Pr[Z_n = 0] = p^* < 1$，其中 $p^*$ 是 $(0, 1)$ 之间的方程 $f(x) = x$ 的唯一解，
  $$f(x) = \sum_{i\ge 0}\Pr[X = i] x^i$$

设 $q_n$ 为时间 $n$ 灭绝的概率，即 $q_n = \Pr[Z_n = 0]$，其中 $q_0 = 0$，我们可以针对第 1 步分裂情况进行讨论，从而列出递推方程 $q_n = f(q_{n-1})$。

根据实际含义容易看出 $0 < q_1 \le q_2 \le q_3 \le \cdots \le 1$，也就是 $(q_n)$ 单调递增且有界，故必然收敛到 $q^* \le 1$。

注意到 $f(x)$ 是在 $[0, 1]$ 内的严格递增函数，且严格凸的函数，我们针对 $y=f(x)$ 和 $y = x$ 的关系进行讨论。注意 $\mathbb E[X] = f'(1)$。

• 对于第二种情况，因为 $\mathbb E[X] = f'(1) > 1$，所以 $y = f(x)$ 和 $y = x$ 第一次相交于 $a < 1$，根据左图 $q^* = a < 1$。
• 对于第一种情况，因为 $\mathbb E[X] = f'(1) \le 1$，所以 $y = f(x)$ 和 $y = x$ 第一次相交于 $1$，根据右图 $q^* = 1$。