12 Image-Space Effects

图像空间特效 (Image-Space Effects)

引言：为何需要图像空间特效？

"世界不再转动，它变得清晰而明亮，边缘似乎变得有些模糊。" —— 欧内斯特·海明威

简单地渲染出三维场景是不够的。为了让画面更具真实感和艺术感染力，我们需要模仿真实世界中相机镜头和人眼的物理现象。图像空间特效，也常被称为后期处理 (Post-Processing)，就是指在场景基本渲染完成后，对生成的二维图像进行一系列处理和增强的技术。本章的核心就是探讨如何利用 GPU 高效实现这些效果。

12.1 图像处理基础 (Image Processing)

这是所有图像空间特效的基石。其核心流程是：将渲染结果（颜色、深度等）输出到纹理中，然后渲染一个覆盖全屏的几何体（通常是一个大三角形或一个四边形），并在其像素着色器中对输入纹理进行采样和计算，最终输出处理后的图像。

• 核心观点: 将图像处理过程转化为一次或多次全屏渲染通道 (Full-Screen Pass)，利用 GPU 的并行处理能力对每个像素进行操作。
• 关键术语:
  • 后处理 (Post-Processing): 在主渲染流程之后对图像进行的修改。
  • 全屏Pass (Full-Screen Pass): 运行一个着色器来处理屏幕上的每一个像素。
  • 滤波核 (Filter Kernel): 一个定义了如何加权平均邻近像素的小矩阵或函数，用于模糊、锐化、边缘检测等。

核心技术：图像滤波 (Image Filtering)

图像滤波是大部分后期处理效果的基础，尤其是模糊。

• 高斯模糊 (Gaussian Blur): 一种非常常见且效果自然的模糊算法。它使用高斯函数来计算滤波核的权重，离中心像素越近的邻居权重越高。

  • 高斯函数: $\mathrm{Gaussian}(x)=e^{-\frac{r^2}{2{\sigma }^2}}$ 其中，$r$ 是邻域像素到中心像素的距离，$\sigma$ (标准差) 控制模糊的半径，$\sigma$ 越大，图像越模糊。

• 优化技巧:

  1. 可分离滤波器 (Separable Filter):
     • 核心思想: 对于像高斯核和方框核这样的滤波器，一个二维的滤波操作可以分解为两次一维滤波：一次水平方向，一次垂直方向。
     • 巨大优势: 极大地减少了纹理采样次数。对于一个直径为 $d$ 的核，计算复杂度从 $O(d^2)$ 降低到 $O(2d)$。例如，一个 9x9 的核从 81 次采样降低到 9+9=18 次。
  2. 利用硬件双线性插值 (Bilinear Interpolation):
     • 核心思想: 通过精确计算采样坐标，可以在一次纹理读取中获得最多四个相邻像素的加权平均值。这可以将采样次数减少约 4 倍。
  3. 下采样 (Downsampling):
     • 核心思想: 在一个低分辨率版本的图像上进行模糊，然后再放大回原始分辨率。
     • 巨大优势: 大幅降低处理的像素数量和纹理带宽。在低分辨率图像上应用一个小的滤波核，其效果等同于在原始分辨率上应用一个大得多的滤波核，成本极低。

12.1.1 双边滤波 (Bilateral Filtering)

这是一种**“智能”模糊**，也是一种非常重要的边缘保持滤波器 (Edge-Preserving Filter)。

• 核心观点: 在进行模糊时，不仅考虑邻域像素的空间距离，还考虑它们的数据差异（如深度、法线或颜色）。只有当邻域像素与中心像素“相似”时，才会被纳入模糊计算。
• 工作原理:
  1. 像高斯模糊一样，根据空间距离计算一个权重。
  2. 额外计算一个权重，该权重基于中心像素与邻域像素在某个维度（例如深度值）上的差异。差异越大，权重越小（甚至为0）。
  3. 最终的权重是这两个权重的乘积。
• 关键术语:
  • 联合/交叉双边滤波 (Joint/Cross Bilateral Filter): 使用一个缓冲区（如颜色）作为输入，同时使用另一个缓冲区（如深度、法线）作为判断边缘的依据。
  • 降噪 (Denoising): 双边滤波的一个典型应用，可以在平滑噪声的同时不破坏物体轮廓，常见于 SSAO 等技术中。
• 性能考量: 双边滤波由于其依赖内容的特性，无法使用可分离滤波或双线性插值等优化，因此计算成本相对较高。

12.2 重投影技术 (Reprojection Techniques)

• 核心观点: 充分利用时间一致性 (Temporal Coherence)，即连续帧之间画面的高度相似性，通过复用前一帧的计算结果来降低当前帧的渲染开销。
• 工作流程 (以反向重投影为例):
  1. 为当前帧的某个像素，计算出它在前一帧屏幕上的位置（这需要物体的速度信息或前一帧和当前帧的变换矩阵）。
  2. 采样前一帧该位置的颜色。
  3. 如果采样有效（即该位置在前一帧是可见的），则直接使用或与当前帧新计算的颜色进行混合。
  4. 如果采样无效（例如，物体是新出现的，或者之前被遮挡），这种情况称为缓存未命中 (Cache Miss)，则必须重新计算该像素的颜色。
• 关键术语:
  • 反向重投影 (Reverse Reprojection): 从当前帧“往回找”，收集前一帧的信息。
  • 正向重投影 (Forward Reprojection): 将前一帧的像素“往前投”到当前帧。
  • 运行时平均滤波器 (Running-Average Filter): 用于平滑地混合历史帧和当前帧的结果，公式如下： ${\mathbf{c}}_{final}=\alpha \cdot {\mathbf{c}}_{current}+(1-\alpha )\cdot {\mathbf{c}}_{reprojected}$ 其中 $\alpha$ 控制新旧信息的混合比例。
• 主要应用:
  • 时域抗锯齿 (Temporal Anti-Aliasing, TAA): 最普遍的应用。
  • 分摊高成本计算（如GI、软阴影）到多个帧上。
  • 帧插值: 在无法达到目标帧率时（尤其在VR中），生成中间帧以保证流畅度。

12.3 镜头光晕和泛光 (Lens Flare and Bloom)

这些效果模仿真实相机镜头在面对强光时产生的光学瑕疵，用于传达远超显示器物理亮度的“亮度感”。

• 核心观点: 将场景中的高亮部分分离出来，经过特殊处理后，再叠加回原始图像上。
• 关键术语:
  • 镜头光晕 (Lens Flare): 模拟光线在镜头内部多次反射和折射形成的各种形状的光斑（如光晕、星芒、多边形光斑）。通常使用面向相机的广告牌 (Billboards) 贴图来实现，其位置、大小和透明度根据主光源在屏幕上的位置进行变化。
  • 泛光 (Bloom): 模拟强光“溢出”到周围区域，形成朦胧辉光的效果。

典型的泛光 (Bloom) 实现流程:

这是一个非常经典且高效的后处理流程：

1. 高亮提取 (Bright-Pass): 渲染一个只包含场景中亮度超过某个阈值的像素的图像。其他区域为黑色。
2. 下采样 (Downsample): 将高亮图像的分辨率大幅降低（例如，连续多次降低到 1/2, 1/4, 1/8...）。
3. 模糊 (Blur): 在这些极低分辨率的高亮图像上进行高斯模糊。由于分辨率极低，即使是很大的模糊半径也极其廉价。
4. 上采样与合成 (Upsample & Composite): 将模糊后的低分辨率图像逐级放大，并与上一级的模糊结果混合（通常是相加），最后将最终的辉光图像加法混合 (Additive Blending) 到原始渲染场景上。

---

总结: 图像空间特效是现代实时渲染管线中不可或缺的一环。掌握滤波（尤其是可分离和降采样优化）、双边滤波的边缘保持思想、重投影的时间复用原理以及泛光的经典实现流程，是构建高质量渲染效果的关键。这些技术相互关联，并常常组合使用，以在有限的性能预算内实现令人惊叹的视觉效果。

12.4 景深 (Depth of Field, DoF)

景深是模仿真实相机镜头的效果：只有在焦平面 (Focal Plane) 附近的物体是清晰的，而离焦平面越近或越远的物体则会变得模糊。

• 核心观点: 在实时渲染中，景深通过在后期处理中对失焦区域施加可变半径的模糊来实现，模糊的强度由该像素的深度与焦距的差值决定。
• 关键术语:
  • 景深 (Depth of Field): 画面中保持清晰的深度范围。
  • 弥散圆 (Circle of Confusion, CoC): 一个失焦的点在成像平面上投影出的模糊圆斑。CoC的半径直接决定了像素的模糊程度。
  • 散景 (Bokeh): 指失焦区域的模糊的审美质量。特别是高光区域会呈现出由相机光圈叶片形状决定的多边形（如五边形、六边形）或圆形光斑。

景深实现的思路演进

1. 理论上的完美方法 (但不实时):

   • 累积缓冲区 (Accumulation Buffer): 模拟物理相机，从虚拟光圈上的多个不同位置渲染场景，然后将所有结果平均起来。这能产生物理正确的“黄金标准”图像，但因需要多次渲染整个场景而成本极高。

2. 核心挑战：散射 (Scatter) vs. 聚集 (Gather)

   • 散射 (Scatter): 直观的思路。计算每个像素的颜色和CoC半径，然后像“泼墨”一样，将该像素的颜色贡献（splat）到其CoC覆盖的所有邻域像素上。
     • 问题: 这与GPU像素着色器的工作模式（一个像素着色器只输出一个像素的结果）相悖，实现起来效率低下且性能不稳定。
   • 聚集 (Gather): GPU友好的思路。对于当前正在计算的像素，主动去采样 (Gather) 周围邻域的像素颜色，然后根据一定的规则将它们混合起来。这是所有现代实时DoF技术的基础。

现代实时景深算法核心流程

大多数现代技术都基于“聚集”思想，并着力解决一个关键问题：前景物体与背景物体的边缘处理。如果简单地根据每个像素的CoC半径进行模糊，一个失焦的前景物体在与清晰背景交界处会产生一条不自然的锐利边缘。

• 解决方案：分层处理

  1. 计算CoC: 首先生成一张全屏的CoC贴图，其中每个像素的值代表其模糊半径。根据符号或范围区分近场 (Near Field)、焦点场 (Focus Field) 和 远场 (Far Field)。
  2. 分离近场: 创建一个独立的近场图像层。这个层只包含近场的像素信息（颜色和Alpha）。
  3. 模糊处理:
     • 对近场层进行模糊。关键在于同时模糊其Alpha通道，这使得模糊效果能够平滑地“溢出”到物体原有的边界之外。
     • 对远场进行模糊（通常与原始图像的“其他”部分一起处理）。
  4. 图像合成 (Composite):
     • 首先，根据CoC半径将原始图像与模糊后的远场图像进行混合。
     • 然后，使用模糊后的近场层的Alpha值，将模糊的近场内容覆盖到上一步的结果之上。这样就完美解决了边缘问题。

• 高级技术：“边聚集边散射 (Scatter as you Gather)”

  • 这是一种更复杂的思想，它在执行聚集操作时，模拟了散射的效果。
  • 核心思想: 对于当前像素，检查其邻域，并判断哪些邻域像素的CoC会覆盖到当前像素。然后根据这些邻域像素的深度关系，将它们分别混合到“前景层”和“背景层”，最后再进行合成。这能更好地处理物体之间复杂的遮挡和模糊渗透。

• 散景 (Bokeh) 的特殊处理:

  • 完整的DoF模糊成本很高。但漂亮的散景形状主要在高光区域才明显。
  • 混合方法: 对整个场景使用高效的聚集 (Gather) 式模糊，然后单独检测出图像中的高亮区域，只对这些区域使用散射 (Scatter) 的方式（例如渲染多边形Sprite）来生成高质量的散景光斑。

12.5 运动模糊 (Motion Blur)

运动模糊是由于物体或摄像机在单帧曝光时间内发生移动，导致画面中留下的运动轨迹。

• 核心观点: 运动模糊是一种重要的时域抗锯齿 (Temporal Anti-Aliasing) 技术。它能极大地提升画面的流畅感和电影感，让30 FPS的画面看起来比没有运动模糊的60 FPS更平滑。
• 关键相似性: 运动模糊和景深在概念上高度相似。景深是对空间（光圈上的不同位置）的采样平均，而运动模糊则是对时间（一帧内的不同时刻）的采样平均。因此，它们面临着相似的技术挑战（如散射vs聚集、边缘处理、信息丢失等）。

实时运动模糊的实现

现代实时运动模糊几乎完全依赖于后期处理，其核心数据是速度缓冲区。

1. 生成速度缓冲区 (Velocity Buffer):

   • 核心任务: 计算出屏幕上每个像素在一个帧内的移动方向和距离（即二维速度向量）。
   • 实现方式: 在顶点着色器中，使用当前帧和前一帧的模型-视图-投影 (MVP) 矩阵分别计算顶点的位置。这两个屏幕位置的差值就是该顶点的速度。这个速度向量会在光栅化阶段被插值到每个像素，最终生成一张全屏的速度缓冲区。

2. 利用速度缓冲区进行模糊:

   • 基本思想: 在后处理阶段，根据速度缓冲区中每个像素的速度向量，沿着该向量方向进行定向采样和模糊。速度越快，采样距离越长，模糊效果越强。
   • 高级技术（类似DoF的“Scatter as you Gather”):
     1. 平铺优化 (Tiling): 将屏幕划分为瓦片（Tiles，如16x16像素）。在每个瓦片中找到最大速度向量。这可以快速确定需要大范围模糊的区域，并指导后续的采样过程，避免对静态区域进行不必要的计算。
     2. 定向聚集: 对每个像素，根据其邻域的最大速度向量，沿着运动方向进行多次采样，并将结果混合。
     3. 关键挑战与解决方案:
        • 遮挡问题: 一个快速移动的物体不应该把它的模糊效果“泄露”到它前面的静态物体上。通过在采样时比较深度值 (Z-value) 来解决，只混合深度相近的样本。
        • 背景重建: 当一个物体移动时，它原先遮挡的背景会被暴露出来。但在单帧的后处理中，这部分背景信息是缺失的。算法需要通过采样移动物体周围的像素来**“猜测”或“重建”**被暴露的背景，以填充模糊轨迹中的空洞。

• 艺术性与实用性:
  • 纯物理的运动模糊（尤其是剧烈的镜头旋转模糊）可能会让玩家产生晕动症 (Motion Sickness)。
  • 因此，游戏通常会提供选项，允许玩家关闭镜头运动模糊，只保留物体的运动模糊，或者在过场动画和游戏操作中采用不同的模糊策略，以平衡视觉效果和玩家体验。

---

总结: 景深和运动模糊是现代渲染中提升画面质量的“左膀右臂”。它们都从昂贵的、基于多次渲染的暴力方法，演进为高效的、基于后处理和**“聚集 (Gather)”** 思想的智能算法。掌握它们的核心数据（DoF的CoC，运动模糊的速度缓冲区）以及解决关键挑战（边缘处理、遮挡、信息重建）的思路，是实现电影级画质的关键。

---