
您可以点击 IEEE Xplore 了解和阅读完整的会议论文,当前解读仅作为该论文因篇幅限制的一些补充解读和说明,建议在阅读本解读和说明前,先行阅读会议论文。
1. 数据生成器的基本理念
本研究中的数据生成器并非仅仅在理想干涉图上叠加随机噪声,而是建立在物理干涉模型与连续相位表示之上的可解释仿真框架。其核心目的是:在严格保持光学干涉底层物理规律的前提下,对真实物理测量中遇到的结构化扰动、局部缺陷与动态变化进行受控建模,从而提供具有物理依据的 Sim-to-Real(仿真到真实)训练数据。
在传统的等厚干涉测量中,相位分布本身具有周期性,并存在尖锐的局部相位跳变(例如 $2\pi$ 缠绕),这使其作为深度神经网络的直接学习目标并非最优。因此,本研究首先通过一个数学同胚映射,将原始相位表示映射到一个连续、光滑的变换空间中。在该空间内,复杂的干涉相位被刻画为一个连续平面或曲面几何结构;神经网络在这一连续域中学习,数据生成器也在完全相同的表示空间中操纵物理状态与扰动。推理时,再通过相应的逆变换重建原始干涉相位。
从数学角度看,前向生成过程是相位平面化变换的逆过程:首先在连续变换几何空间中构建物理状态与环境扰动,再将其映射回可观测的干涉图域。这一表述避免了朴素的逐像素随机修改所带来的空间不连续性,使每一次模拟变化都具有严格的几何与物理解释。
2. 变换平面操作与物理参数的对应关系
经过相位平面化之后,数据生成器不再将不同的图像伪迹视为彼此孤立、互不相关的随机变量,而是将它们统一为作用于连续平面或曲面上的特定几何操作:
- 平面倾斜($\rightarrow$ 条纹取向与全局相位梯度):变换平面的宏观几何倾斜定义了干涉图的全局相位梯度,从而决定条纹方向、条纹密度以及楔角变化。
- 平面缩放 / 梯度($\rightarrow$ 条纹间距与物理状态变化):调节整体梯度幅值可以控制条纹的空间频率,直接反映底层物理量的演化。
- 表面粗糙度($\rightarrow$ 噪声、微振动与局部随机扰动):在平面上叠加连续的随机微粗糙度会引发不规则相位扰动,精确模拟微振动、空气湍流与传感器噪声。
- 局部变形($\rightarrow$ 非理想物理变化或结构化畸变):引入局部平滑的高斯凸起或非平面翘曲,对空间结构像差、热应力不均或光学波前畸变进行建模。
- 局部挖除 / 遮挡($\rightarrow$ 阴影、遮挡、严重划痕与信号丢失):在变换平面上刻意移除或置零局部区域,模拟干涉调制的局部丢失、坏点、重划痕或物理遮挡。
- 复合操作($\rightarrow$ 复杂真实测量扰动):将多种基本几何修改组合起来,可得到实验环境中观测到的高度复杂、真实的退化模式。
![]()
图 1 变换平面几何操作与可观测光学干涉现象的系统映射
这种几何化表述的主要优势在于:多样化的图像伪迹不再被当作任意的"随机数据增强",而是对应于统一几何曲面上的可识别操作,从而保证了高度的物理可解释性,并使得对特定扰动模态的严格消融实验成为可能。
3. 从变换空间到干涉图
一旦在连续变换域中合成了物理状态与空间扰动,生成器便执行逆变换以重建缠绕光学相位,随后按照光学成像原理合成原始干涉图:
$$\mathcal{I}(x,y) = A(x,y) + B(x,y) \cos\left( \Phi(x,y) + \Delta\Phi_{dis}(x,y) \right) + \eta(x,y).$$
从概念上讲,每一个生成样本由三个正交分量共同支配:
- 理想物理状态($\Phi$):编码真值物理量与理想条纹动力学;
- 结构化扰动($\Delta\Phi_{dis}, A, B$):诱发局部空间偏离、调制损失或非理想几何畸变;
- 随机测量噪声($\eta$):模拟高频探测器散粒噪声与传感器不确定性。
这一表述严格反映了真实物理:实际实验干涉图从来不只是"理想信号 + 独立白噪声",而是确定性物理信号、高度相关的空间伪迹与随机仪器噪声的耦合产物。灰尘阴影、划痕、非平稳机械振动等光学缺陷具有显著的空间连续性,无法用朴素的独立同分布(i.i.d.)高斯噪声刻画。
因此,生成器的核心目标不仅是制造视觉上可信的图像,而是生产出其因果机制("这一变化为何发生?")完全可追溯、并受物理约束的合成数据。
4. 扰动字典与数据生成器
在真实光学装置中,许多硬件缺陷表现出强烈的器件特异性重复出现特征。透镜灰尘、表面划痕、坏点、传感器增益不均以及特定的空间噪声分布等不完美因素,在重复实验中并非完全随机出现,而是以准静态的结构模式反复重现。
本框架不要求神经网络记忆每一个具体的伪迹实例,而是将这些重复出现的模式抽象为一个潜在的扰动字典(Disturbance Dictionary):
$$\mathcal{D} = \{ \mathbf{z}_k \}_{k=1}^K.$$
网络计算局部潜在特征表示 $\mathbf{f}_i$ 与字典原型 $\mathbf{z}_k$ 之间的余弦相似度。当某个特征匹配到已知扰动模式时,框架选择性地抬高其预测不确定性,而不是破坏物理均值估计:
$$\widehat{\sigma}_{i,adj}^2 = \widehat{\sigma}_i^2 + \gamma_{dis} g_i^{dis}, \qquad g_i^{dis} = \sigma\left[ \kappa_{dis} (r_i - \tau_d) \right].$$
在这一范式中,数据生成器扮演两个关键角色:
- 提供多来源实例:合成跨不同设备参数、噪声水平与缺陷严重程度的多样化扰动表现,使模型能够学习不变的原型嵌入;
- 控制分布偏移:通过在不同训练轮次中调节随机种子与扰动超参数空间,确保模型学习的是泛化的潜在扰动表示,而非过拟合到特定的静态缺陷布局。
由此可见,扰动字典构成了数据生成器与神经网络之间的结构化接口:生成器产出物理可解释的扰动,模型提取潜在特征,字典则维护对反复出现的缺陷原型的结构化记忆。
5. 基于种子调度的受控随机性
数据生成器中的随机种子调度并非仅仅服务于数据集扩容。通过系统性地管理随机种子,生成器在单个训练阶段内维持受控的分布一致性,同时在后续阶段之间平滑过渡到不同的扰动组合。
例如,在特定训练阶段固定一部分与硬件相关的扰动参数,可以让模型针对该缺陷家族稳定其字典原型;而在后续阶段切换到新种子时,则引入互补的扰动组合。这既避免了对静态伪迹布局的灾难性记忆,也防止了不受约束的样本间随机性所引发的训练混乱。
这种种子调度机制使扰动字典能够逐步适配特定目标仪器。如果模拟特征分布已经与目标硬件匹配得足够好,则该校准过程可以相应地从简。
6. 模型与数据生成器之间的主动反馈
数据生成器不是一个孤立的离线数据渲染模块。在整个训练过程中,模型持续地将其内部预测状态回传给生成器。主要的反馈信号包括:
$$\mathcal{S}(x) = \underbrace{U(x)}_{\text{预测不确定性}} \;+\; \underbrace{\mathcal{L}_{\mathrm{phy}}(x)}_{\text{物理约束违背}} \;+\; \underbrace{\mathcal{M}_{\mathrm{attn}}(x)}_{\text{空间误差注意力图}}$$
当模型在某个尚未被充分采样的参数区间上,表现出预测不确定性升高或物理不一致时,生成器会在该不确定物理状态附近主动采样新的训练实例。由此,生成器不再是盲目积累不加区分的合成数据,而是基于模型当前的预测缺陷动态决定"模型接下来应该学什么"。
这一主动学习回路遵循主动仿真器查询(Active Simulator Querying)方案:
$$\theta^* = \arg\max_{\theta' \in B(\theta, r_q)} J(\theta'), \qquad J(\theta') = U(\theta') - \beta D(\theta', \theta).$$
当不确定性超过阈值 $\tau_U$ 时,生成器在物理参数空间 $B(\theta, r_q)$ 内进行局部邻域搜索,合成针对性的、对模型构成挑战同时又贴近经验观测的样本。新生成的配对 $\{\mathcal{I}(\theta^*), \Phi(\theta^*)\}$ 被动态并入训练池。
完整的交互构成一个主动学习循环:
$$\boxed{ \begin{aligned} \text{模型识别高不确定性状态} &\longrightarrow \text{回传至数据生成器} \\ &\longrightarrow \text{搜索局部物理参数邻域 } B(\theta, r_q) \\ &\longrightarrow \text{合成有针对性的对抗 / 困难样本} \\ &\longrightarrow \text{重训模型} \longrightarrow \text{重新评估预测风险} \end{aligned} }$$
这将数据生成器从一个被动的数据生产工具转变为主动的、响应式的训练环境。
7. 渐进式难度控制(课程学习)
除了局部主动查询之外,数据生成器还在全局上调节训练课程的难度。
在训练一开始就引入严重遮挡、极端机械振动、极低信噪比以及复杂复合伪迹,会阻碍网络发现基本的物理拓扑;反之,若全程维持过于简单的数据集,网络则会通过捷径求解来最小化损失,而无法捕捉复杂条件下的稳健物理约束。
据此,本研究实现了一个动态的、反馈驱动的课程学习(Curriculum Learning)协议。生成器通过物理损失、不确定性平台期与门控接受率持续评估模型的收敛状态,逐步扩展扰动参数边界:
$$\left\{ \begin{aligned} \textbf{P1: } & \text{干净几何平面} \longrightarrow \text{基础监督物理映射}, \\ \textbf{P2: } & \text{标准硬件缺陷} \longrightarrow \text{扰动原型聚类}, \\ \textbf{P3: } & \text{复杂变形 / 遮挡} \longrightarrow \text{物理约束门控校准}, \\ \textbf{P4: } & \text{困难边界状态} \longrightarrow B(\theta, r_q) \text{ 中的主动查询探索}. \end{aligned} \right.$$
这里的"难度"不是一个任意的轮次计划表,而是由模型的实时状态动态驱动。如果模型长期不收敛,说明当前数据难度与损失加权之间存在失配,提示系统重新校准生成器参数。
8. 数据生成器与物理损失函数的耦合
生成器产出的所有合成样本都必须能够被基于物理的损失公式所评估。
干涉相位分布必须服从空间连续性;在热膨胀实验下,相位的时间演化速度必须严格位于物理允许范围内:
$$v_i^{\max} = f(\alpha_{\max}, \Delta T_i, \Delta t_i, \kappa).$$
如果生成器产出违背这些基本物理边界条件的样本,即使网络取得很低的像素级损失,也存在学到物理上无效表示的风险。
由此,数据生成器与物理约束构成一个互锁的验证回路:
- 生成器合成多样化的物理状态与分级扰动水平;
- 模型重建连续物理相位及不确定性边界;
- 物理约束门控模块评估空间与时间一致性;
- 物理损失对不可信的预测降权,并惩罚未校准的方差。
这确保数据生成器不孤立地追求视觉保真度,而是与物理定律协作,共同界定哪些训练样本是物理上可接受的。
9. 完整闭环系统
综合上述机制,得到一个完全统一、自适应的闭环系统(见图 2)。
图 2 从连续几何仿真到物理门控、不确定性估计与模型驱动自适应生成的完整闭环架构
闭环决策规则如下:
- 若模型在当前数据上稳定收敛 $\rightarrow$ 逐步提升课程难度;
- 若模型对特定扰动表现出高不确定性 $\rightarrow$ 在参数空间 $B(\theta, r_q)$ 中增加针对性查询;
- 若模型反复关注重复出现的硬件缺陷 $\rightarrow$ 在扰动字典中强化相应原型表示;
- 若模型利用非物理捷径求解 $\rightarrow$ 改变扰动分布以消除伪相关;
- 若模型长时间训练仍不收敛 $\rightarrow$ 重新校准物理损失权重与仿真难度边界。
因此,整体训练框架构成一个完整的自调节系统:
$$\boxed{ \begin{gathered} \text{物理定律} \longrightarrow \text{变换空间} \longrightarrow \text{干涉图合成} \\ \Big\downarrow \\ \text{推理} \longrightarrow \text{门控 / 字典 / 不确定性} \longrightarrow \text{生成器更新} \end{gathered} }$$
10. 数据生成器的核心意义
本工作提出的数据生成方法论从根本上区别于传统的经验式数据增强。
传统数据增强试图回答:"如何生成更多样的图像?" 相比之下,我们的物理数据生成器回答的是:
$$\boxed{ \text{如何在严格保持物理定律的前提下,系统性地合成尚未掌握的物理状态与真实扰动?} }$$
本框架的基石不是不受约束的随机性,而是可解释的参数化生成、物理约束门控与模型驱动的闭环反馈三者的协同。
这一架构阐明了为何在保持标准 U-Net 主干网络不变的情况下,修改数据生成器及其反馈机制仍能大幅提升模型稳健性。在这一框架中,训练数据分布不再是一个静态数据集,而是优化过程的主动组成部分。网络究竟学到什么,根本取决于数据生成器如何遍历物理状态、扰动模式与课程层级。
总结
数据生成器不仅仅是生产合成训练图像的工具。它为受控的物理状态与扰动构建了一个连续、可解释的物理表示空间,并基于模型不断演化的预测不确定性主动选择后续训练数据。这将 Sim-to-Real 学习从静态的经验数据拟合,提升为由物理原理与实时模型反馈共同驱动的动态闭环训练范式。
请引用已发表的文献如下:
D. Huang, J. Wang and J. Li, "Bridging the Sim2Real Gap via Physics-Constrained Gating and Disturbance Dictionary Learning," 2026 International Conference on Emerging Techniques in Computational Intelligence (ICETCI), Hyderabad, India, 2026, pp. 1-6, doi: 10.1109/ICETCI71772.2026.11710440.
