TAA稳定性探究

锯齿分类

类型	视觉特征	发生位置	核心原因	常见解法
几何锯齿	阶梯状边缘 (狗牙)	模型轮廓/边缘	像素对边缘覆盖的二值化判断	MSAA, FXAA, SMAA
纹理锯齿	摩尔纹、噪点	物体表面内部	远处一个像素对应过多纹理细节	Mipmap, 各向异性过滤
高光锯齿	闪烁亮点 (萤火虫)	强反光/法线复杂处	高频法线/高光小于像素尺寸	增加粗糙度, 几何法线过滤
时间锯齿	运动闪烁、车轮倒转	动态画面中	帧率不足以捕捉运动变化	动态模糊 (Motion Blur)

TAA效果定位

类型	TAA 效果	总结
几何锯齿	✅ 强	时间维度的 SSAA，能有效恢复边缘覆盖率
纹理锯齿	⚠️ 有限	可压制闪烁，但TAA是采样之后再平均，非根本解法
高光锯齿	✅ 强	本质是时间噪声，TAA 非常擅长抑制
时间锯齿	❌ / ⚠️	只能稳定闪烁，无法解决时间欠采样（如倒转）

TAA 擅长“稳定与平均”。 轮廓和高光交给 TAA，纹理靠过滤，时间欠采样必须靠 Motion Blur 或更高帧率。

Introduction

最近在浏览知乎时，我注意到一篇关于“Temporal AA 如何避免远处细小几何体闪烁？”的高质量讨论。其中一则答案分析得相当透彻，我认为有记录和分享的价值，因此整理如下：

时间抗锯齿（Temporal Anti-Aliasing, TAA）无疑是现代图形渲染中一项革命性的技术。它以极小的性能代价，带来了显著的图像质量提升，有效解决了传统空间抗锯齿难以处理的锯齿和像素闪烁问题。然而，正如许多开发者在实践中遇到的那样，TAA并非完美无瑕。一个常见且棘手的痛点，便是远处或细小几何体（如电线、栏杆、稀疏的植被叶片等）在TAA下产生的恼人闪烁或“抖动”现象。

这种闪烁，直观上看，似乎是由于TAA核心机制中的投影矩阵抖动 (projection matrix jitter) 导致的。在抖动作用下，那些在屏幕空间中尺寸小于一个像素的微小三角形，其光栅化结果可能在相邻的几个像素之间来回跳变，从而引发视觉上的不稳定性。但问题真的仅仅如此吗？

事实上，这背后揭示了TAA在信息处理层面更为深刻的挑战：如何在历史帧的有效信息（可用于超采样以提升细节和抗锯齿）与无效信息（可能导致鬼影或错误的混合）之间做出准确的判断。尤其对于高频细节和细小几何体，这种判断变得异常困难。激进地剔除历史样本可能会加剧闪烁，而保守地混合又可能引入鬼影。

核心问题

Temporal AA (TAA) 在处理远处细小几何体（如线状物）时，由于投影矩阵的抖动 (jitter)，导致这些不足一个像素的三角形在光栅化时，其覆盖的像素在相邻帧之间来回跳变，从而产生闪烁现象。

根本原因：False Positive 与 False Negative 的不兼容

1. TAA 的目标与挑战：

   • 目标： 通过混合历史帧和当前帧的信息，实现时间上的超采样，达到抗锯齿效果。
   • 挑战： 如何区分历史帧的像素是有效的（可以用于超采样），还是无效的（例如因为物体移动、遮挡变化、光照变化导致的“鬼影”）。

2. Ghosting (鬼影) 的处理与代价：

   • 去鬼影 (De-ghosting)： 为了避免鬼影，TAA 通常会有一套机制来判断历史样本的有效性。如果一个历史样本被判定为无效（比如与当前帧差异过大），就会被拒绝 (reject) 或限制其贡献 (clip/clamp)。
   • 激进的拒绝/限制： 如果去鬼影的策略过于激进（例如，Neighboring Clamp/Clip 范围过小，或对深度/速度差异容忍度低），虽然能有效去除大部分鬼影，但会带来新问题。

3. 激进拒绝带来的问题（闪烁的直接原因）：

   • 拒绝后的处理： 当历史样本被拒绝后，当前像素如果完全依赖当前帧的原始信息 (raw pixel)，而这个原始信息又因为相机抖动而在几个像素间跳动，那么这个像素就会表现为闪烁或不稳定。这正是题目中描述的细小几何体闪烁的原因。
   • Neighboring Clamp/Clip 的副作用： 作者特别指出，题目中提到的闪烁，"Neighboring Clamp/Clip 就是罪魁祸首"。这种方法试图将历史样本的颜色限制在当前帧邻近像素的颜色范围内。对于高频细节（如细线），其颜色可能与周围像素差异很大。如果 Clamp 的范围 (AABB) 很小，历史样本很容易被过度修正或拒绝，导致细节丢失和闪烁。Clamp 范围越小，闪烁可能越厉害。

4. 高频细节的困境：

   • 抗锯齿需求： 对于几何边缘等高频细节，TAA 正是需要通过混合历史样本来实现抗锯齿（超采样）。
   • 难以区分： 系统很难判断一个像素的剧烈颜色变化，究竟是因为它本身就处于高频变化的区域（例如细线的边缘，抖动使其采样到了线的内部和外部），还是因为历史样本确实失效了（例如物体移动了）。
   • 当前机制的假设： 无论是 Neighboring Clip 还是基于深度/速度差异的拒绝策略，往往都倾向于假设历史样本失效（即后者）。这对于几何边缘来说是个问题，因为边缘处的深度差异本身就可能很大，即便物体没有移动，只是相机抖动。

解决思路（思想实验）

作者强调这些是未经实际验证的思考，并分为静态和动态情况讨论。

1. 优先解决静态闪烁：

   • 判断： 如果一个像素连续多帧（例如至少3帧）在屏幕上的位置没有变化（通过相机抖动反算），但其颜色却发生了剧烈变化。
   • 假设： 这种情况下，可以假设这是 TAA 的抖动机制带来的“自然超采样”效果，而不是历史样本失效。
   • 处理： 正常进行历史帧与当前帧的混合 (resolve)。

2. 动态闪烁的解决思路：

   • 思路一：限制大的方案 (参考 COD Filmic SMAA T2X)

     • 背景： COD 通常 60fps，帧间隔小；其 T2X 的 TAA resolve 部分只用了两帧 jitter。
     • 做法： 在做 Neighboring Clip 时，由于帧间隔近，它可以对“两帧之前”（即上一次理论上相同抖动位置）的样本进行颜色比较和 Clip。如果同一个抖动位置在不同采样周期的颜色不一致，则判断为失效样本。
     • 优点： 逻辑直观。
     • 缺点/局限：
       • 对于有更多抖动采样点（如4-8个 jitter pattern）且目标帧率较低（如30fps）的游戏不现实。回溯多帧历史，显存开销大，且时间跨度长，样本基本都会变化，导致满屏拒绝，满屏闪烁。
       • 如果只做两帧 resolve，抗锯齿效果可能不足。

   • 思路二：针对几何边缘的优化 (参考并拓展神海4的 Stencil Tag)

     • 目标： 主要解决几何边缘的闪烁问题，内部着色的闪烁太复杂，暂不处理。
     • 神海4的做法： 给容易产生鬼影的物体打上 Stencil Tag。如果前后帧的 Stencil Tag 不一样，说明是不同物体，不应该混合。
     • 作者的拓展思考：
       • 关键点： 在物体边缘，即使前后帧的某些属性（如深度）差异较大，也应该混合。因为这里我们假设这种差异是由于相机抖动造成的有效超采样，而不是鬼影。
       • 具体方法：
         1. 边缘检测： 根据深度（可以加上法线）进行边缘检测，生成一个边缘遮罩 (Edge Mask)。
         2. 调整权重/敏感度： 在这个 Edge Mask 标记的边缘区域，提高历史样本的权重，或者降低拒绝历史样本的敏感度（即不容易因为差异大而拒绝历史样本）。
         3. Object/Instance ID： 如果硬件或管线支持输出物体/实例 ID，可以进一步提升效果（例如，确认是同一个物体边缘）。
     • 补充： Stencil Tag 依然有其用处，例如解决阴影的鬼影问题。
     • 代价： 为 TAA 单独跑一套边缘检测会有额外的性能开销。

总结逻辑

1. 问题根源： TAA 在处理细小物体闪烁，核心在于现有去鬼影机制（尤其是 Neighboring Clip 和基于深度/速度的拒绝）过于“一刀切”，它们倾向于将高频变化视为历史样本失效，而忽略了这可能是 TAA 抖动带来的有效超采样机会，尤其是在几何边缘。
2. 静态解决： 对于静止场景，通过多帧观察像素位置不变但颜色剧变的情况，将其视为有效超采样。
3. 动态解决：
   • 一种是借鉴 COD 的思路，但适用性有限。
   • 另一种是作者更倾向的，通过边缘检测，在几何边缘处“优待”历史样本，鼓励混合以实现抗锯齿，而不是轻易拒绝它们。这需要区分真正的物体边缘和普通着色区域。

作者的整个分析都是围绕着如何在“去除鬼影”和“保留并利用有效的历史信息进行超采样”之间找到更好的平衡点，特别是在那些本身就包含高频信息的区域（如细线、几何边缘）。

TAA 深度解析：核心矛盾与解决思路

核心矛盾

False Positive vs False Negative 不可兼得

历史样本的处理策略：

• 激进 ——> Reject：去鬼影效果好，时域稳定性抖动
• 保守 ——> Accept：去鬼影效果差，时域稳定性稳定

问题根源

高频变化的两种来源（无法区分）

情况 A：像素本身处于高频区域（几何边缘）
        → 应该 BLEND（这是有效的超采样！）

情况 B：场景变化导致历史失效（移动/光照变化）
        → 应该 REJECT（这是鬼影！）

问题：两者在数据上表现一致 → 无法准确区分

Neighboring Clip 的困境

// AABB 越小 → reject 越激进 → 去鬼影效果好 → 但抖动更严重
// AABB 越大 → reject 越宽松 → 稳定性好 → 但鬼影明显
 
// Variance Clipping（更 tight）
float3 stddev = sqrt(...);
minColor = mean - stddev * γ;  // γ 越小，box 越 tight
maxColor = mean + stddev * γ;
 
// COD 选择：宁可模糊，也不抖动 → 放弃 variance clipping

---

解决方案思路

方案 1：静态场景特殊处理

思路：静态时像素位置不变，颜色变化 = 自然的 Jitter 超采样

// 连续 3+ 帧像素没动，但颜色变了
if (motionLength < threshold && frameCount >= 3)
{
    // 这是有效的超采样，正常 blend，不要 reject
    blendFactor = normalBlend;
}

---

方案 2：COD Filmic SMAA T2x

前提条件：

• 60 FPS（帧间隔短）
• 只用 2 帧 Jitter（不是 4-8 帧）

帧 N:     Jitter A  ●
帧 N-1:   Jitter B  ○
帧 N-2:   Jitter A  ●  ← 对比这帧！(同一个 jitter 位置)

// 对比同一 Jitter 位置的前后帧
// 如果颜色变了 → 肯定是场景变化 → Reject
// 如果颜色没变 → 是稳定的高频区域 → Blend
 
float3 sameJitterHistory = HistoryBuffer[N-2];  // 两帧前
if (ColorDiff(current, sameJitterHistory) > threshold)
{
    reject = true;  // 真的失效了
}

局限：

• 30 FPS + 8 帧 Jitter → 回溯 8 帧 → 显存爆炸 + 样本基本都失效

---

方案 3：边缘感知 + Stencil Tag

神海 4 的做法：

// 用 Stencil 标记物体类型（2 bit → 最多 3 种特殊物体）
if (currentStencil != historyStencil)
{
    // 不同物体 → Reject（防止物体间 ghost）
}
 
// 但是！边缘情况要反过来
if (IsGeometricEdge(uv))
{
    // 边缘处高频变化是正常的超采样 → 增加 history 权重
    blendFactor *= edgeBoost;
}

扩展思路：

// 1. 边缘检测（基于深度 + 法线）
float edgeMask = DetectEdge(depth, normal);
 
// 2. 边缘处降低 reject 敏感度
if (edgeMask > 0.5)
{
    clipAABB *= 1.5;  // 放大 AABB，更宽容
    blendFactor = lerp(blendFactor, 0.3, edgeMask);  // 更信任 history
}
 
// 3. 非边缘处正常 reject
else
{
    // 正常 neighboring clip
}

可能的改进：用 Object/Instance ID 替代 Stencil（如果硬件支持）

---

总结表

方案	适用场景	开销	效果
静态检测	静止场景	低	解决静态抖动
2帧 Jitter 回溯	60FPS 游戏	中	精准区分变化来源
边缘感知 Reject	几何边缘	中高	减少边缘抖动
Stencil Tag	复杂场景	低	减少物体间 ghost

---

一句话总结

TAA 的本质困境：无法区分"我该 blend 的高频"和"我该 reject 的失效"

所有技巧都是在用额外信息（时间一致性、几何边缘、物体标记）来辅助判断。