GAMES102-15-纹理合成 & 形状分析

Lecture 15 Texture Synthesis & Shape Analysis

表面纹理：

3D 模型的纹理处理：

纹理合成：

给定一个样本纹理 I，目标是合成一个新的纹理 J，它：

• 看起来像输入的样本
• 结果中没有一部分是样本的重复。

什么是纹理：

• 以外观为特征
• 元素以近似随机的方式排列

图像 VS. 纹理：

纹理的属性：

2D Texture Synthesis 二维纹理合成

• 纹理分析

  • 如何捕捉纹理的本质？

• 需要对整个范围进行建模

  • 从重复纹理到随机纹理

• 这个问题是视觉、图形统计和图像压缩的交叉领域

  

基于案例的技术

• 参数化技术

  • 在特征空间中计算全局统计数据，并直接从纹理集合中采样图像
  • 为纹理表示假设一个数学模型，匹配输入和输出纹理的模型参数

  

• 非参数化技术

  • 估计局部条件概率密度函数，并逐步合成像素
  • 通过从输入复制进行合成（马尔可夫-随机场模型（Markov-Random Field Model）），像素外观仅依赖于其邻近区域

理想情况下的单像素合成（Synthesizing One Pixel）：

• 假设马尔可夫属性：给定邻域窗口，像素 pp 的条件概率分布是什么？
• 直接搜索：不构建模型，而是直接在输入图像中搜索所有这样的邻域，为 p 生成一个直方图。
• 随机选择匹配：为了合成 p，只需随机选择一个匹配项。

实际情况下的单像素合成（Really Synthesizing One Pixel）：

• 有限样本图像：由于我们的样本图像是有限的，可能不存在完全匹配的邻域。
• 寻找最佳匹配：使用SSD（Sum of Squared Differences，平方差之和）误差来寻找最佳匹配，SSD误差通过高斯权重来强调局部结构。
• 考虑邻近样本：采取与最佳匹配项一定距离内的所有样本。

相似合成需要有合适的pattern窗口大小：

Patch‐based Synthesis：

• 用patch代替单像素
• 速度快，结果不容易出现碎块/糊块

最小割问题：

Seam Optimization：

• 基于能量图的图像缩放方法，通过移除或复制具有最低能量值的像素路径（即seam）来调整图像的大小。
• 阶段：
  • 构建能量图
  • 计算seam
  • 移除或添加seam

Texton‐based Synthesis：

• 基于纹理基元（textons）的纹理合成
• 首先使用Harr小波等变换工具获取具有方向性的纹理子图象，然后提取纹理基元，并应用统计方法和矢量场对纹理区域进行由粗到细的分割

Synthesis with Vector Field Control：

• 基于向量场可以做斜着的合成

3D Texture Synthesis

过程式纹理合成 Procedural texture synthesis：

• 使用3D函数定义物体的纹理属性

• 世界坐标（x, y, z）上的函数

• 模仿自然纹理的统计特性

  

基于采样的纹理合成 Sample‐based texture synthesis：

• 通过给网格顶点上色来合成表面纹理（Synthesize a surface texture by coloring mesh vertices）
• 从二维纹理合成扩展而来（Extensions from 2D texture synthesis）
• 关键问题（Key issues）
  • 重采样（Resampling）
  • 局部展平（Local flattening）
    • 大小（Size）
    • 方向（Orientation）

几何合成 Geometry Synthesis：

• 通过纹理（几何）样本在表面上生成几何形状（Generating geometry over surfaces by texture (geometry) samples）
• 方法（Methods）：
  • 基于三维距离场的方法（3D distance field based method）
  • 将图像类比扩展到体积（Image analogies extended to volumes）
  • 基于网格的几何纹理合成技术（Mesh-based geometric texture synthesis technique）

形状分析与理解

三维几何处理：从局部到全局

形状理解：

• 形状特征 Shape features：

  • 特征点 Feature points

  • 特征线 Feature lines

  • 显著性 Saliency

    

• 对齐 Alignment (upright）

• 形状分割 Shape segmentation (components)

  

• 一组形状的共同分割 Co‐segmentation of a set of shapes，从多个形状中推断出的知识比从单个形状中推断出的知识更多

• 标签 Labeling

  

• 对称 Symmetries

  

• 骨架 Skeleton

• 形状匹配 Shape matching
  • 相似性 Similarity
  • 一致性 Correspondences

• 物体检索 Shape retrieval

  

• 分类

• 结构/分层结构 Structures/Hierarchical structures

• 功能性 Functionality

  

• 物体交互关系 Object affordance

  

Shape Descriptors

形状描述的核心问题：形状表征（描述子、特征）

如何度量两个三维元素的相似性？

• 整体形状
  • 全局描述子
• 局部形状
  • 局部描述子

例子：模型分割‐根据特征的聚类 (Clustering/Labeling)

三维数据的信息：

• 点坐标 (x,y,z)
• 几何量
  • 长度、角度、面积、体积
• 微分量
  • 法向量
  • 曲率
• 拓扑量
  • 连接关系
  • Laplace谱
• 映射度量
  • 雅可比（变形量）
  • 共形比
• ......

全局特征：扩展高斯图等

对不同的情况会定义各种特征，图中是各种人工定义的3D形状特征：

对于特征：

三维数据的深度学习的三种方法：

深度学习理解：

• 通用拟合器（较大的逼近函数空间）
  • 应用三部曲
    • 在哪找（网络构造）、哪个好（损失函数）、怎么找（优化）
    • 仅拟合了大量样本：可能只是“虚假关系”
    • 并没有“理解”或“认知”真正的规律
    • 不可解释性
• 性能依赖训练样本（数据集）
  • 当数据集足够密：近似“最近邻”算法
  • 训练数据集不够完备：缺乏泛化能力
  • 大部分是过拟合
• 基于深度神经网络的深度学习并不是真正的AI，离真正的“智能”仍很遥远

稀疏学习与深度学习：殊途同归

• 方法的不同性
  • 压缩感知：基于模型的，有很好的结构和数学模型；来自于数学理论的突破
  • 深度学习：基于实证的，模型灵活，须通过数据进行监督学习；来自于求解速度的突破
• 一致性
  • 目标：高维数据的信息（特征）提取
  • 结果：从局部信息来处理全局信息
  • 类似的网络结构：求解L1优化的IST（Iterative Soft-Thresholding）算法实质上是多层网络优化

图形计算的主要应用领域：