Introduction

最近在浏览知乎时，我注意到一篇关于“Temporal AA 如何避免远处细小几何体闪烁？”的高质量讨论。其中一则答案分析得相当透彻，我认为有记录和分享的价值，因此整理如下：

时间抗锯齿（Temporal Anti-Aliasing, TAA）无疑是现代图形渲染中一项革命性的技术。它以极小的性能代价，带来了显著的图像质量提升，有效解决了传统空间抗锯齿难以处理的锯齿和像素闪烁问题。然而，正如许多开发者在实践中遇到的那样，TAA并非完美无瑕。一个常见且棘手的痛点，便是远处或细小几何体（如电线、栏杆、稀疏的植被叶片等）在TAA下产生的恼人闪烁或“抖动”现象。

这种闪烁，直观上看，似乎是由于TAA核心机制中的投影矩阵抖动 (projection matrix jitter) 导致的。在抖动作用下，那些在屏幕空间中尺寸小于一个像素的微小三角形，其光栅化结果可能在相邻的几个像素之间来回跳变，从而引发视觉上的不稳定性。但问题真的仅仅如此吗？

事实上，这背后揭示了TAA在信息处理层面更为深刻的挑战：如何在历史帧的有效信息（可用于超采样以提升细节和抗锯齿）与无效信息（可能导致鬼影或错误的混合）之间做出准确的判断。尤其对于高频细节和细小几何体，这种判断变得异常困难。激进地剔除历史样本可能会加剧闪烁，而保守地混合又可能引入鬼影。

核心问题

Temporal AA (TAA) 在处理远处细小几何体（如线状物）时，由于投影矩阵的抖动 (jitter)，导致这些不足一个像素的三角形在光栅化时，其覆盖的像素在相邻帧之间来回跳变，从而产生闪烁现象。

根本原因：False Positive 与 False Negative 的不兼容

  1. TAA 的目标与挑战：

    • 目标： 通过混合历史帧和当前帧的信息，实现时间上的超采样，达到抗锯齿效果。
    • 挑战： 如何区分历史帧的像素是有效的（可以用于超采样），还是无效的（例如因为物体移动、遮挡变化、光照变化导致的“鬼影”）。

  2. Ghosting (鬼影) 的处理与代价：

    • 去鬼影 (De-ghosting)： 为了避免鬼影，TAA 通常会有一套机制来判断历史样本的有效性。如果一个历史样本被判定为无效（比如与当前帧差异过大），就会被拒绝 (reject) 或限制其贡献 (clip/clamp)。
    • 激进的拒绝/限制： 如果去鬼影的策略过于激进（例如，Neighboring Clamp/Clip 范围过小，或对深度/速度差异容忍度低），虽然能有效去除大部分鬼影，但会带来新问题。

  3. 激进拒绝带来的问题（闪烁的直接原因）：

    • 拒绝后的处理： 当历史样本被拒绝后，当前像素如果完全依赖当前帧的原始信息 (raw pixel)，而这个原始信息又因为相机抖动而在几个像素间跳动，那么这个像素就会表现为闪烁或不稳定。这正是题目中描述的细小几何体闪烁的原因。
    • Neighboring Clamp/Clip 的副作用： 作者特别指出，题目中提到的闪烁，“Neighboring Clamp/Clip 就是罪魁祸首”。这种方法试图将历史样本的颜色限制在当前帧邻近像素的颜色范围内。对于高频细节（如细线），其颜色可能与周围像素差异很大。如果 Clamp 的范围 (AABB) 很小，历史样本很容易被过度修正或拒绝，导致细节丢失和闪烁。Clamp 范围越小，闪烁可能越厉害。

  4. 高频细节的困境：

    • 抗锯齿需求： 对于几何边缘等高频细节，TAA 正是需要通过混合历史样本来实现抗锯齿（超采样）。
    • 难以区分： 系统很难判断一个像素的剧烈颜色变化，究竟是因为它本身就处于高频变化的区域（例如细线的边缘，抖动使其采样到了线的内部和外部），还是因为历史样本确实失效了（例如物体移动了）。
    • 当前机制的假设： 无论是 Neighboring Clip 还是基于深度/速度差异的拒绝策略，往往都倾向于假设历史样本失效（即后者）。这对于几何边缘来说是个问题，因为边缘处的深度差异本身就可能很大，即便物体没有移动，只是相机抖动。

解决思路（思想实验）

作者强调这些是未经实际验证的思考，并分为静态和动态情况讨论。

  1. 优先解决静态闪烁：

    • 判断： 如果一个像素连续多帧（例如至少3帧）在屏幕上的位置没有变化（通过相机抖动反算），但其颜色却发生了剧烈变化。
    • 假设： 这种情况下，可以假设这是 TAA 的抖动机制带来的“自然超采样”效果，而不是历史样本失效。
    • 处理： 正常进行历史帧与当前帧的混合 (resolve)。

  2. 动态闪烁的解决思路：

    • 思路一：限制大的方案 (参考 COD Filmic SMAA T2X)

      • 背景： COD 通常 60fps，帧间隔小；其 T2X 的 TAA resolve 部分只用了两帧 jitter。
      • 做法： 在做 Neighboring Clip 时，由于帧间隔近，它可以对“两帧之前”（即上一次理论上相同抖动位置）的样本进行颜色比较和 Clip。如果同一个抖动位置在不同采样周期的颜色不一致，则判断为失效样本。
      • 优点： 逻辑直观。
      • 缺点/局限：
        • 对于有更多抖动采样点（如4-8个 jitter pattern）且目标帧率较低（如30fps）的游戏不现实。回溯多帧历史，显存开销大，且时间跨度长，样本基本都会变化，导致满屏拒绝，满屏闪烁。
        • 如果只做两帧 resolve，抗锯齿效果可能不足。

    • 思路二：针对几何边缘的优化 (参考并拓展神海4的 Stencil Tag)

      • 目标： 主要解决几何边缘的闪烁问题，内部着色的闪烁太复杂，暂不处理。
      • 神海4的做法： 给容易产生鬼影的物体打上 Stencil Tag。如果前后帧的 Stencil Tag 不一样，说明是不同物体，不应该混合。
      • 作者的拓展思考：
        • 关键点： 在物体边缘，即使前后帧的某些属性（如深度）差异较大，也应该混合。因为这里我们假设这种差异是由于相机抖动造成的有效超采样，而不是鬼影。
        • 具体方法：
          1. 边缘检测： 根据深度（可以加上法线）进行边缘检测，生成一个边缘遮罩 (Edge Mask)。
          2. 调整权重/敏感度： 在这个 Edge Mask 标记的边缘区域，提高历史样本的权重，或者降低拒绝历史样本的敏感度（即不容易因为差异大而拒绝历史样本）。
          3. Object/Instance ID： 如果硬件或管线支持输出物体/实例 ID，可以进一步提升效果（例如，确认是同一个物体边缘）。
      • 补充： Stencil Tag 依然有其用处，例如解决阴影的鬼影问题。
      • 代价： 为 TAA 单独跑一套边缘检测会有额外的性能开销。

总结逻辑

  1. 问题根源： TAA 在处理细小物体闪烁，核心在于现有去鬼影机制（尤其是 Neighboring Clip 和基于深度/速度的拒绝）过于“一刀切”，它们倾向于将高频变化视为历史样本失效，而忽略了这可能是 TAA 抖动带来的有效超采样机会，尤其是在几何边缘。
  2. 静态解决： 对于静止场景，通过多帧观察像素位置不变但颜色剧变的情况，将其视为有效超采样。
  3. 动态解决：
    • 一种是借鉴 COD 的思路，但适用性有限。
    • 另一种是作者更倾向的，通过边缘检测，在几何边缘处“优待”历史样本，鼓励混合以实现抗锯齿，而不是轻易拒绝它们。这需要区分真正的物体边缘和普通着色区域。

作者的整个分析都是围绕着如何在“去除鬼影”和“保留并利用有效的历史信息进行超采样”之间找到更好的平衡点，特别是在那些本身就包含高频信息的区域（如细线、几何边缘）。