Tan Jay

稳健保形推断

Tan Jay / 2025-03-03


确定分位数阈值方式

1. 标准保形推断

利用验证集的非符合性分数计算分位数阈值 $\hat{t}$,确保覆盖概率至少为 $1 - \alpha$: $$ \mathrm{Pr}_{P_0}(s \leq t) \geq 1 - \alpha $$

$$ \hat{t} = \text{Quantile} \left( 1 - \alpha; P_0 \right) = \inf{ \{ q \in \mathbb{R}: \ P_0(S \le q) \ge 1 - \alpha \}} $$

其中,$n_{\text{cal}}$:验证集样本数量,调整项 $\frac{1}{n_{\text{cal}} + 1}$ 保证覆盖概率的有限样本有效性。公式表示将验证集分数排序后,取第 $\lceil (1 - \alpha)(n_{\text{cal}} + 1) \rceil$ 小的值作为阈值。

2. 稳健保形推断

核心思想: 结合分布鲁棒优化(DRO),在最坏分布扰动下保证覆盖概率。数学形式:
$$ \mathrm{Pr}_{Q \in \mathcal{U}(P_0)}(s \leq t) \geq 1 - \alpha $$

$$ \hat{t} = \max_{Q \in \mathcal{U}(P_0)} \text{Quantile} \left( 1 - \alpha; Q \right) = \max_{Q \in \mathcal{U}(P_0)} \inf{ \{ q \in \mathbb{R}: \ Q(S \le q) \ge 1 - \alpha \}} $$

$$ \hat{t} = \inf{ \{ q: Q(s \le q) \ge 1 - \alpha , \ \forall Q \in \mathcal{U}(P_0)} \} $$

其中,$\mathcal{U}(P)$ 是围绕训练分布 $P$ 的邻域(如 Wasserstein 球)。优点:防范未知但有限的分布偏移。