MODEL INVERSION · SCENARIO 4
摊销反演AMORTIZED INVERSION
白盒权重全可见、却不能自由求值 \(x\)、手里只有一批 \((x,y)\) 数据集。
1已知
-
1.1白盒
目标模型 \(f_\theta: \mathcal{X} \to \mathcal{Y}\)，权重 \(\theta\) 全可见——结构、参数、中间激活的数学形式都能读。
-
1.2离线数据
数据集 \(\mathcal{D} = \{(x_i, y_i)\}_{i=1}^N\)，其中 \(y_i = f_\theta(x_i)\)，是该模型历史上生成的数据（调用日志）。
-
1.3硬约束
不能对任意 \(x\) 自由求值 \(f_\theta(x)\)——即做不了标准白盒 MI 那套"每个 \(y^*\) 独立解 \(\min_x \|f_\theta(x) - y^*\|^2\)、梯度优化几千步"。
原因可以是：无执行环境、算力不够、操作被审计留痕、或模型已下线只剩权重文件。
2求
给定新观测 \(y^* \sim p(y)\)，恢复其原像 \(x^*\)。
\[y^* \sim p(y) \quad\Longrightarrow\quad \text{求 } x^* \text{ 使得 } f_\theta(x^*) \approx y^*\]
3相关工作
以下五篇工作分别从不同角度与本场景的设定条件相交，但据我们所知，尚无一篇同时满足 1.1、1.2、1.3。
3.1Mixed Integer Neural Inverse DesignACM SIGGRAPH 2022
| 满足条件 | 1.1、1.3 完全满足；1.2 中历史数据可用于确定变量界与 warm-start |
| 观测条件 | 白盒。直接读取网络权重，将 ReLU 网络编码为混合整数线性规划；需要各层激活值的有限界；无需执行目标模型 |
| 成果 | 建立了基于混合整数规划的神经网络逆向设计框架，得到全局最优（或近优）解；支持组合型逆向设计（如材料选择）；可求得对制造扰动可证明鲁棒的设计 |
3.2Evaluating Robustness of Neural Networks with Mixed Integer ProgrammingICLR 2019 · Tjeng 等
| 满足条件 | 1.1、1.3 满足；1.2 非必需 |
| 观测条件 | 白盒。读取权重并做 MILP 编码；原文用于鲁棒性验证（给定输入与扰动半径，判定对抗样本存在性） |
| 成果 | 将 ReLU 网络编码为混合整数规划并用于神经网络鲁棒性验证；该编码方法是后续一切基于约束求解的网络分析工作的基础 |
3.3Neural Network Inversion in Adversarial Setting via Background Knowledge AlignmentACM CCS 2019 · Yang 等
| 满足条件 | 1.2、1.3 满足；1.1 不满足（黑盒设定，未利用权重） |
| 观测条件 | 黑盒。仅需模型的预测输出；依赖背景数据集与离线采集的 \((x, y)\) 配对 |
| 成果 | 在对抗设定下提出基于背景知识对齐的模型反演：仅凭黑盒预测输出与背景数据，即可训练出有效的逆模型 |
3.4Text Embeddings Reveal (Almost) As Much As TextEMNLP 2023
| 满足条件 | 1.2 满足；1.1 不满足；1.3 部分满足（单步推理满足约束；多步校正需前向求值，与硬约束冲突） |
| 观测条件 | 黑盒。仅需（文本，嵌入）配对数据，无需嵌入模型参数 |
| 成果 | 证明文本嵌入几乎等同于文本本身：给定嵌入向量可高精度还原原始文本，短文本精确恢复率达 92%；获 EMNLP 2023 Outstanding Paper |
3.5Model-Constrained Deep Learning Approaches for Inverse ProblemsarXiv:2105.12033
| 满足条件 | 其训练目标与循环一致性项数学形式一致；对应到本场景：1.1、1.2 满足，1.3 部分满足（训练阶段需正演求值，推理阶段摊销） |
| 观测条件 | 白盒。要求正演模型已知（原文为物理正演模型）及训练数据 |
| 成果 | 提出模型约束的逆映射学习框架，并证明线性情形下其解等价于 Tikhonov 正则化解，赋予深度逆模型可解释性 |