1. 原理与核心思想

1. VAE： 提供一个低维、连续的隐空间，允许对生成过程进行平滑的插值和有意义的语义操作。
2. 扩散模型： 作为一个强大的解码器/生成器，通过一个逐步去噪的过程生成数据，通常比传统VAE的解码器能产生质量更高、更多样化的样本。
3. 条件生成： 通过将条件信息 $\mathbf{c}$$\mathbf{c}$c\mathbf{c}$\mathbf{c}$ 注入到VAE的编码器和扩散解码器的每一步中，实现对生成结果的精确控制。

2. 模型架构

a. 编码器 $q_{\varphi }(\mathbf{z}|\mathbf{x},\mathbf{c})$$q_{\varphi }(\mathbf{z}|\mathbf{x},\mathbf{c})$q_(phi)(z|x,c)q_{\phi}(\mathbf{z} | \mathbf{x}, \mathbf{c})$q_{\varphi }(\mathbf{z}|\mathbf{x},\mathbf{c})$

• 输入： 原始结构数据 $\mathbf{x}$$\mathbf{x}$x\mathbf{x}$\mathbf{x}$ 和条件信息 $\mathbf{c}$$\mathbf{c}$c\mathbf{c}$\mathbf{c}$。
• 输出： 一个多元高斯分布的参数（均值和方差），从中采样得到全局隐变量 $\mathbf{z}$$\mathbf{z}$z\mathbf{z}$\mathbf{z}$。
• 目的： 将高维、离散/连续混合的结构 $\mathbf{x}$$\mathbf{x}$x\mathbf{x}$\mathbf{x}$ 压缩成一个低维、连续的语义表示 $\mathbf{z}$$\mathbf{z}$z\mathbf{z}$\mathbf{z}$，并且这个表示与条件 $\mathbf{c}$$\mathbf{c}$c\mathbf{c}$\mathbf{c}$ 相关联。
• 结构： 通常是一个图神经网络（GNN），因为输入 $\mathbf{x}$$\mathbf{x}$x\mathbf{x}$\mathbf{x}$（分子/晶体）天然可以用图表示（原子为节点，化学键为边）。

b. 扩散解码器 $p_{\theta }(\mathbf{x}|\mathbf{z},\mathbf{c})$$p_{\theta }(\mathbf{x}|\mathbf{z},\mathbf{c})$p_(theta)(x|z,c)p_{\theta}(\mathbf{x} | \mathbf{z}, \mathbf{c})$p_{\theta }(\mathbf{x}|\mathbf{z},\mathbf{c})$

• 前向过程（固定的加噪过程）：
  给定一个从编码器得到的“干净”结构 ${\mathbf{x}}_0$${\mathbf{x}}_0$x_(0)\mathbf{x}_0${\mathbf{x}}_0$（即原始数据），我们按照一个预定义的噪声调度（schedule）逐步添加高斯噪声，生成一系列噪声越来越大的隐变量 ${\mathbf{x}}_1,{\mathbf{x}}_2,...,{\mathbf{x}}_T$${\mathbf{x}}_1,{\mathbf{x}}_2,...,{\mathbf{x}}_T$x_(1),x_(2),...,x_(T)\mathbf{x}_1, \mathbf{x}_2, ..., \mathbf{x}_T${\mathbf{x}}_1,{\mathbf{x}}_2,...,{\mathbf{x}}_T$。
  $$q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})=\mathcal{N}({\mathbf{x}}_t;\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I})$$$$q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})=\mathcal{N}({\mathbf{x}}_t;\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I})$$q(x_(t)|x_(t-1))=N(x_(t);sqrt(1-beta _(t))x_(t-1),beta _(t)I)q(\mathbf{x}_t | \mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1 - \beta_t} \mathbf{x}_{t-1}, \beta_t \mathbf{I})$$q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})=\mathcal{N}({\mathbf{x}}_t;\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I})$$
  其中 ${\beta }_t$${\beta }_t$beta _(t)\beta_t${\beta }_t$ 是第 $t$$t$tt$t$ 步的噪声方差，由调度决定。这个过程的特性是，我们可以直接从 ${\mathbf{x}}_0$${\mathbf{x}}_0$x_(0)\mathbf{x}_0${\mathbf{x}}_0$ 采样出任意 $t$$t$tt$t$ 时刻的 ${\mathbf{x}}_t$${\mathbf{x}}_t$x_(t)\mathbf{x}_t${\mathbf{x}}_t$：
  $${\mathbf{x}}_t=\sqrt{{\overline{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\overline{\alpha }}_t}ϵ,ϵ\sim \mathcal{N}(0,\mathbf{I})$$$${\mathbf{x}}_t=\sqrt{{\overline{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\overline{\alpha }}_t}ϵ,ϵ\sim \mathcal{N}(0,\mathbf{I})$$x_(t)=sqrt( bar(alpha)_(t))x_(0)+sqrt(1- bar(alpha)_(t))epsilon,quad epsilon∼N(0,I)\mathbf{x}_t = \sqrt{\bar{\alpha}_t} \mathbf{x}_0 + \sqrt{1 - \bar{\alpha}_t} \epsilon, \quad \epsilon \sim \mathcal{N}(0, \mathbf{I})$${\mathbf{x}}_t=\sqrt{{\overline{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\overline{\alpha }}_t}ϵ,ϵ\sim \mathcal{N}(0,\mathbf{I})$$
  其中 ${\alpha }_t=1-{\beta }_t$${\alpha }_t=1-{\beta }_t$alpha _(t)=1-beta _(t)\alpha_t = 1 - \beta_t${\alpha }_t=1-{\beta }_t$，${\overline{\alpha }}_t=\prod _{s=1}^t{\alpha }_s$${\overline{\alpha }}_t=\prod _{s=1}^t {\alpha }_s$bar(alpha)_(t)=prod_(s=1)^(t)alpha _(s)\bar{\alpha}_t = \prod_{s=1}^{t} \alpha_s${\overline{\alpha }}_t=\prod _{s=1}^t{\alpha }_s$。
• 反向过程（学习的去噪过程）：
  这是一个神经网络，其任务是预测添加到数据中的噪声 $ϵ$$ϵ$epsilon\epsilon$ϵ$。
  • 输入：
    1. 当前噪声数据 ${\mathbf{x}}_t$${\mathbf{x}}_t$x_(t)\mathbf{x}_t${\mathbf{x}}_t$（在时间步 $t$$t$tt$t$）。
    2. 时间步 $t$$t$tt$t$ 的嵌入向量。
    3. 全局隐变量 $\mathbf{z}$$\mathbf{z}$z\mathbf{z}$\mathbf{z}$（来自编码器）。
    4. 条件信息 $\mathbf{c}$$\mathbf{c}$c\mathbf{c}$\mathbf{c}$。
  • 输出： 对噪声 $ϵ$$ϵ$epsilon\epsilon$ϵ$ 的预测，即 ${ϵ}_{\theta }({\mathbf{x}}_t,t,\mathbf{z},\mathbf{c})$${ϵ}_{\theta }({\mathbf{x}}_t,t,\mathbf{z},\mathbf{c})$epsilon_(theta)(x_(t),t,z,c)\epsilon_{\theta}(\mathbf{x}_t, t, \mathbf{z}, \mathbf{c})${ϵ}_{\theta }({\mathbf{x}}_t,t,\mathbf{z},\mathbf{c})$。
  • 目的： 给定 ${\mathbf{x}}_t$${\mathbf{x}}_t$x_(t)\mathbf{x}_t${\mathbf{x}}_t$，利用 $\mathbf{z}$$\mathbf{z}$z\mathbf{z}$\mathbf{z}$ 和 $\mathbf{c}$$\mathbf{c}$c\mathbf{c}$\mathbf{c}$ 提供的全局语义和目标信息，预测出噪声 $ϵ$$ϵ$epsilon\epsilon$ϵ$，从而可以计算出去噪后的 ${\mathbf{x}}_{t-1}$${\mathbf{x}}_{t-1}$x_(t-1)\mathbf{x}_{t-1}${\mathbf{x}}_{t-1}$。
  • 结构： 同样是一个GNN，但接收 $\mathbf{z}$$\mathbf{z}$z\mathbf{z}$\mathbf{z}$ 和 $\mathbf{c}$$\mathbf{c}$c\mathbf{c}$\mathbf{c}$ 作为全局上下文，注入到每个节点/边的特征更新中。

c. 先验网络 $p_{\psi }(\mathbf{z}|\mathbf{c})$$p_{\psi }(\mathbf{z}|\mathbf{c})$p_(psi)(z|c)p_{\psi}(\mathbf{z} | \mathbf{c})$p_{\psi }(\mathbf{z}|\mathbf{c})$

• 输入： 条件信息 $\mathbf{c}$$\mathbf{c}$c\mathbf{c}$\mathbf{c}$。
• 输出： 先验分布的参数（均值和方差），这是采样阶段用于生成新样本的隐变量分布。
• 目的： 在训练时，编码器产生的后验分布 $q_{\varphi }(\mathbf{z}|\mathbf{x},\mathbf{c})$$q_{\varphi }(\mathbf{z}|\mathbf{x},\mathbf{c})$q_(phi)(z|x,c)q_{\phi}(\mathbf{z} | \mathbf{x}, \mathbf{c})$q_{\varphi }(\mathbf{z}|\mathbf{x},\mathbf{c})$ 会被拉向这个先验分布，以保证隐空间的规整性。在生成新样本时，我们从该先验中采样一个 $\mathbf{z}$$\mathbf{z}$z\mathbf{z}$\mathbf{z}$，然后输入给扩散解码器。

训练时：
(𝐱, 𝐜) → [编码器 q_ϕ] → 𝐳 ~ q_ϕ(𝐳|𝐱,𝐜)
                         ↓
           [扩散解码器 p_θ] 学习从 𝐱_t 预测噪声 ϵ，其中 𝐱_t 由 𝐱_0 加噪得到，解码器接收 (𝐱_t, t, 𝐳, 𝐜)

生成时：
𝐜 → [先验网络 p_ψ] → 𝐳 ~ p_ψ(𝐳|𝐜)
                     ↓
        [扩散解码器 p_θ] 从纯噪声 𝐱_T ~ N(0,I) 开始，逐步去噪 T 步，每一步都使用 (𝐱_t, t, 𝐳, 𝐜) 预测噪声
                     ↓
                    𝐱_0 (生成的结构)

3. 训练方法

总损失函数：

逐项解释：

• 符号解释：
  • $t$$t$tt$t$： 从1到T均匀采样的时间步。
  • $ϵ$$ϵ$epsilon\epsilon$ϵ$： 实际添加到原始数据 ${\mathbf{x}}_0$${\mathbf{x}}_0$x_(0)\mathbf{x}_0${\mathbf{x}}_0$ 中的随机噪声。
  • ${\mathbf{x}}_t=\sqrt{{\overline{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\overline{\alpha }}_t}ϵ$${\mathbf{x}}_t=\sqrt{{\overline{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\overline{\alpha }}_t}ϵ$x_(t)=sqrt( bar(alpha)_(t))x_(0)+sqrt(1- bar(alpha)_(t))epsilon\mathbf{x}_t = \sqrt{\bar{\alpha}_t} \mathbf{x}_0 + \sqrt{1 - \bar{\alpha}_t} \epsilon${\mathbf{x}}_t=\sqrt{{\overline{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\overline{\alpha }}_t}ϵ$： 根据噪声调度在第 $t$$t$tt$t$ 步的带噪数据。
  • ${ϵ}_{\theta }(...)$${ϵ}_{\theta }(...)$epsilon_(theta)(...)\epsilon_{\theta}(...)${ϵ}_{\theta }(...)$： 扩散解码器网络，目标是预测噪声 $ϵ$$ϵ$epsilon\epsilon$ϵ$。
  • $w_t$$w_t$w_(t)w_t$w_t$： 时间步相关的权重，通常根据调度设置（如 $w_t=1$$w_t=1$w_(t)=1w_t = 1$w_t=1$ 或 $w_t=1/\sqrt{1-{\overline{\alpha }}_t}$$w_t=1/\sqrt{1-{\overline{\alpha }}_t}$w_(t)=1//sqrt(1- bar(alpha)_(t))w_t = 1 / \sqrt{1-\bar{\alpha}_t}$w_t=1/\sqrt{1-{\overline{\alpha }}_t}$）。
• 直观理解： 网络学习在任意噪声水平 $t$$t$tt$t$ 下，给定全局语义 $\mathbf{z}$$\mathbf{z}$z\mathbf{z}$\mathbf{z}$ 和目标 $\mathbf{c}$$\mathbf{c}$c\mathbf{c}$\mathbf{c}$，如何从噪声数据中恢复出干净数据。这是一种更稳健的重建目标。

• 符号解释：
  • $q_{\varphi }(\mathbf{z}|\mathbf{x},\mathbf{c})=\mathcal{N}({\mu }_{\varphi },{\sigma }_{\varphi }^2)$$q_{\varphi }(\mathbf{z}|\mathbf{x},\mathbf{c})=\mathcal{N}({\mu }_{\varphi },{\sigma }_{\varphi }^2)$q_(phi)(z|x,c)=N(mu_(phi),sigma_(phi)^(2))q_{\phi}(\mathbf{z} | \mathbf{x}, \mathbf{c}) = \mathcal{N}(\mu_{\phi}, \sigma_{\phi}^2)$q_{\varphi }(\mathbf{z}|\mathbf{x},\mathbf{c})=\mathcal{N}({\mu }_{\varphi },{\sigma }_{\varphi }^2)$： 编码器产生的后验分布。
  • $p_{\psi }(\mathbf{z}|\mathbf{c})=\mathcal{N}({\mu }_{\psi },{\sigma }_{\psi }^2)$$p_{\psi }(\mathbf{z}|\mathbf{c})=\mathcal{N}({\mu }_{\psi },{\sigma }_{\psi }^2)$p_(psi)(z|c)=N(mu_(psi),sigma_(psi)^(2))p_{\psi}(\mathbf{z} | \mathbf{c}) = \mathcal{N}(\mu_{\psi}, \sigma_{\psi}^2)$p_{\psi }(\mathbf{z}|\mathbf{c})=\mathcal{N}({\mu }_{\psi },{\sigma }_{\psi }^2)$： 先验网络产生的条件先验分布。
  • $D_{\text{KL}}$$D_{\text{KL}}$D_("KL")D_{\text{KL}}$D_{\text{KL}}$： Kullback-Leibler散度，衡量两个分布的差异。
• 作用：
  1. 充当正则化器，防止编码器为每个样本产生过于特异的隐变量（避免退化为普通自编码器）。
  2. 确保在生成时，从先验 $p_{\psi }(\mathbf{z}|\mathbf{c})$$p_{\psi }(\mathbf{z}|\mathbf{c})$p_(psi)(z|c)p_{\psi}(\mathbf{z}|\mathbf{c})$p_{\psi }(\mathbf{z}|\mathbf{c})$ 中采样的 $\mathbf{z}$$\mathbf{z}$z\mathbf{z}$\mathbf{z}$ 与训练时编码器产生的 $\mathbf{z}$$\mathbf{z}$z\mathbf{z}$\mathbf{z}$ 来自相似的分布，从而保证生成质量。
  3. $\beta$$\beta$beta\beta$\beta$ 是控制正则化强度的超参数（$\beta$$\beta$beta\beta$\beta$-VAE思想）。

• 符号解释：
  • $f_{\text{pred}}$$f_{\text{pred}}$f_("pred")f_{\text{pred}}$f_{\text{pred}}$： 一个附加的小型预测网络（MLP），以隐变量 $\mathbf{z}$$\mathbf{z}$z\mathbf{z}$\mathbf{z}$ 为输入。
  • $y$$y$yy$y$： 与结构 $\mathbf{x}$$\mathbf{x}$x\mathbf{x}$\mathbf{x}$ 对应的真实属性值（如能量、溶解度）。
• 作用：
  1. 增强可控性： 强制隐变量 $\mathbf{z}$$\mathbf{z}$z\mathbf{z}$\mathbf{z}$ 编码与目标属性相关的信息，使得在隐空间内沿特定方向移动可以改变生成结构的属性。
  2. 辅助训练： 提供额外的监督信号，帮助学习更有意义的隐表示。
  3. $\lambda$$\lambda$lambda\lambda$\lambda$ 是其权重超参数。

1. 从数据集中采样一个批次的 $(\mathbf{x},\mathbf{c},y)$$(\mathbf{x},\mathbf{c},y)$(x,c,y)(\mathbf{x}, \mathbf{c}, y)$(\mathbf{x},\mathbf{c},y)$。
2. 将 $(\mathbf{x},\mathbf{c})$$(\mathbf{x},\mathbf{c})$(x,c)(\mathbf{x}, \mathbf{c})$(\mathbf{x},\mathbf{c})$ 输入编码器，得到后验分布参数，并通过重参数化技巧采样隐变量 $\mathbf{z}$$\mathbf{z}$z\mathbf{z}$\mathbf{z}$。
3. 计算KL损失 ${\mathcal{L}}_{\text{KL}}$${\mathcal{L}}_{\text{KL}}$L_("KL")\mathcal{L}_{\text{KL}}${\mathcal{L}}_{\text{KL}}$，需要将 $\mathbf{c}$$\mathbf{c}$c\mathbf{c}$\mathbf{c}$ 输入先验网络得到先验分布参数。
4. 为重建损失做准备：随机采样时间步 $t$$t$tt$t$，根据调度为 $\mathbf{x}$$\mathbf{x}$x\mathbf{x}$\mathbf{x}$ 加噪得到 ${\mathbf{x}}_t$${\mathbf{x}}_t$x_(t)\mathbf{x}_t${\mathbf{x}}_t$。
5. 将 $({\mathbf{x}}_t,t,\mathbf{z},\mathbf{c})$$({\mathbf{x}}_t,t,\mathbf{z},\mathbf{c})$(x_(t),t,z,c)(\mathbf{x}_t, t, \mathbf{z}, \mathbf{c})$({\mathbf{x}}_t,t,\mathbf{z},\mathbf{c})$ 输入扩散解码器，预测噪声 ${ϵ}_{\theta }$${ϵ}_{\theta }$epsilon_(theta)\epsilon_{\theta}${ϵ}_{\theta }$，并与真实噪声 $ϵ$$ϵ$epsilon\epsilon$ϵ$ 计算 ${\mathcal{L}}_{\text{rec}}$${\mathcal{L}}_{\text{rec}}$L_("rec")\mathcal{L}_{\text{rec}}${\mathcal{L}}_{\text{rec}}$。
6. 将 $\mathbf{z}$$\mathbf{z}$z\mathbf{z}$\mathbf{z}$ 输入属性预测网络，计算 ${\mathcal{L}}_{\text{prop}}$${\mathcal{L}}_{\text{prop}}$L_("prop")\mathcal{L}_{\text{prop}}${\mathcal{L}}_{\text{prop}}$（如果使用）。
7. 将三项损失加权求和，反向传播，更新编码器 $(\varphi )$$(\varphi )$(phi)(\phi)$(\varphi )$、扩散解码器 $(\theta )$$(\theta )$(theta)(\theta)$(\theta )$、先验网络 $(\psi )$$(\psi )$(psi)(\psi)$(\psi )$ 和属性预测网络的参数。

4. 使用方法

a. 无条件/条件生成

• 输入： 一个目标条件 ${\mathbf{c}}_{\text{target}}$${\mathbf{c}}_{\text{target}}$c_("target")\mathbf{c}_{\text{target}}${\mathbf{c}}_{\text{target}}$（例如，一个特定的化学式或一个属性值范围）。
• 过程：
  1. 将 ${\mathbf{c}}_{\text{target}}$${\mathbf{c}}_{\text{target}}$c_("target")\mathbf{c}_{\text{target}}${\mathbf{c}}_{\text{target}}$ 输入先验网络 $p_{\psi }$$p_{\psi }$p_(psi)p_{\psi}$p_{\psi }$，得到先验分布 $p_{\psi }(\mathbf{z}|{\mathbf{c}}_{\text{target}})$$p_{\psi }(\mathbf{z}|{\mathbf{c}}_{\text{target}})$p_(psi)(z|c_("target"))p_{\psi}(\mathbf{z} | \mathbf{c}_{\text{target}})$p_{\psi }(\mathbf{z}|{\mathbf{c}}_{\text{target}})$。
  2. 从该分布中采样一个隐变量 ${\mathbf{z}}_{\text{sample}}$${\mathbf{z}}_{\text{sample}}$z_("sample")\mathbf{z}_{\text{sample}}${\mathbf{z}}_{\text{sample}}$。
  3. 从标准高斯噪声 ${\mathbf{x}}_T\sim \mathcal{N}(0,\mathbf{I})$${\mathbf{x}}_T\sim \mathcal{N}(0,\mathbf{I})$x_(T)∼N(0,I)\mathbf{x}_T \sim \mathcal{N}(0, \mathbf{I})${\mathbf{x}}_T\sim \mathcal{N}(0,\mathbf{I})$ 开始。
  4. 进行 $T$$T$TT$T$ 步迭代去噪：对于 $t=T,T-1,...,1$$t=T,T-1,...,1$t=T,T-1,...,1t = T, T-1, ..., 1$t=T,T-1,...,1$，调用扩散解码器 ${ϵ}_{\theta }$${ϵ}_{\theta }$epsilon_(theta)\epsilon_{\theta}${ϵ}_{\theta }$ 预测噪声，并根据DDPM或DDIM等采样算法计算 ${\mathbf{x}}_{t-1}$${\mathbf{x}}_{t-1}$x_(t-1)\mathbf{x}_{t-1}${\mathbf{x}}_{t-1}$。每一步都传入 $({\mathbf{x}}_t,t,{\mathbf{z}}_{\text{sample}},{\mathbf{c}}_{\text{target}})$$({\mathbf{x}}_t,t,{\mathbf{z}}_{\text{sample}},{\mathbf{c}}_{\text{target}})$(x_(t),t,z_("sample"),c_("target"))(\mathbf{x}_t, t, \mathbf{z}_{\text{sample}}, \mathbf{c}_{\text{target}})$({\mathbf{x}}_t,t,{\mathbf{z}}_{\text{sample}},{\mathbf{c}}_{\text{target}})$。
  5. 最终得到生成的结构 ${\mathbf{x}}_0$${\mathbf{x}}_0$x_(0)\mathbf{x}_0${\mathbf{x}}_0$。

b. 重构与插值

• 重构： 给定一个已知结构 ${\mathbf{x}}_{\text{input}}$${\mathbf{x}}_{\text{input}}$x_("input")\mathbf{x}_{\text{input}}${\mathbf{x}}_{\text{input}}$ 及其条件 $\mathbf{c}$$\mathbf{c}$c\mathbf{c}$\mathbf{c}$，通过编码器得到其隐变量 ${\mathbf{z}}_{\text{input}}$${\mathbf{z}}_{\text{input}}$z_("input")\mathbf{z}_{\text{input}}${\mathbf{z}}_{\text{input}}$，然后用扩散解码器进行重构。这可以测试模型的表示能力。
• 插值： 在两个结构 $({\mathbf{x}}_A,{\mathbf{c}}_A)$$({\mathbf{x}}_A,{\mathbf{c}}_A)$(x_(A),c_(A))(\mathbf{x}_A, \mathbf{c}_A)$({\mathbf{x}}_A,{\mathbf{c}}_A)$ 和 $({\mathbf{x}}_B,{\mathbf{c}}_B)$$({\mathbf{x}}_B,{\mathbf{c}}_B)$(x_(B),c_(B))(\mathbf{x}_B, \mathbf{c}_B)$({\mathbf{x}}_B,{\mathbf{c}}_B)$ 对应的隐变量 ${\mathbf{z}}_A$${\mathbf{z}}_A$z_(A)\mathbf{z}_A${\mathbf{z}}_A$ 和 ${\mathbf{z}}_B$${\mathbf{z}}_B$z_(B)\mathbf{z}_B${\mathbf{z}}_B$ 之间进行线性插值：${\mathbf{z}}_{\text{interp}}=(1-\alpha ){\mathbf{z}}_A+\alpha {\mathbf{z}}_B$${\mathbf{z}}_{\text{interp}}=(1-\alpha ){\mathbf{z}}_A+\alpha {\mathbf{z}}_B$z_("interp")=(1-alpha)z_(A)+alphaz_(B)\mathbf{z}_{\text{interp}} = (1-\alpha)\mathbf{z}_A + \alpha\mathbf{z}_B${\mathbf{z}}_{\text{interp}}=(1-\alpha ){\mathbf{z}}_A+\alpha {\mathbf{z}}_B$。然后固定一个条件（或混合条件），用 ${\mathbf{z}}_{\text{interp}}$${\mathbf{z}}_{\text{interp}}$z_("interp")\mathbf{z}_{\text{interp}}${\mathbf{z}}_{\text{interp}}$ 进行生成，可以得到在两个结构之间平滑过渡的一系列新结构。

c. 基于属性的优化与搜索

• 过程：
  1. 在隐空间 $\mathbf{z}$$\mathbf{z}$z\mathbf{z}$\mathbf{z}$ 中定义或学习一个“属性方向” $\mathbf{d}$$\mathbf{d}$d\mathbf{d}$\mathbf{d}$（例如，通过回归属性预测器 $f_{\text{pred}}$$f_{\text{pred}}$f_("pred")f_{\text{pred}}$f_{\text{pred}}$ 的梯度：$\mathbf{d}={\mathrm{\nabla }}_{\mathbf{z}}{f}_{\text{pred}}(\mathbf{z})$$\mathbf{d}={\mathrm{\nabla }}_{\mathbf{z}}{f}_{\text{pred}}(\mathbf{z})$d=grad_(z)f_("pred")(z)\mathbf{d} = \nabla_{\mathbf{z}} f_{\text{pred}}(\mathbf{z})$\mathbf{d}={\mathrm{\nabla }}_{\mathbf{z}}{f}_{\text{pred}}(\mathbf{z})$，指向属性增加的方向）。
  2. 从一个起点 ${\mathbf{z}}_0$${\mathbf{z}}_0$z_(0)\mathbf{z}_0${\mathbf{z}}_0$ 开始，沿方向 $\mathbf{d}$$\mathbf{d}$d\mathbf{d}$\mathbf{d}$ 移动：${\mathbf{z}}_{\text{new}}={\mathbf{z}}_0+\eta \cdot \mathbf{d}$${\mathbf{z}}_{\text{new}}={\mathbf{z}}_0+\eta \cdot \mathbf{d}$z_("new")=z_(0)+eta*d\mathbf{z}_{\text{new}} = \mathbf{z}_0 + \eta \cdot \mathbf{d}${\mathbf{z}}_{\text{new}}={\mathbf{z}}_0+\eta \cdot \mathbf{d}$。
  3. 用 ${\mathbf{z}}_{\text{new}}$${\mathbf{z}}_{\text{new}}$z_("new")\mathbf{z}_{\text{new}}${\mathbf{z}}_{\text{new}}$ 和给定的条件 $\mathbf{c}$$\mathbf{c}$c\mathbf{c}$\mathbf{c}$ 进行生成，得到的新结构 ${\mathbf{x}}_{\text{new}}$${\mathbf{x}}_{\text{new}}$x_("new")\mathbf{x}_{\text{new}}${\mathbf{x}}_{\text{new}}$ 将具有更高的目标属性值。
  4. 这个过程可以迭代进行，在隐空间中高效地搜索满足特定属性要求的候选结构。

总结