弹性对齐和蒙太奇

自迁移出 MediaWiki 以来，本页内容尚未经过审查。如果您愿意帮忙，请查看帮助指南！

==引用==请注意，斐济提供基于图书的弹性插画和蒙太奇插件。如果您成功将其用于您的研究，请引用我们的工作：

S.萨尔菲尔德、R.束缚、A. Cardona 和 P. Tomancak (2012)“通过一系列超薄切片进行弹性体积重建，自然方法, 9(7), 717-720 Webpage PDF Supplement

展示该方法性能的补充视频可参见here。

简介

We describe here our elastic alignment method for series or groups of overlapping 2d-images. The method is accessible through the plugins Elastic Stack Alignment and Elastic Montage and incorporated in the TrakEM2 software. Applications are:

弹性蒙太奇
从重叠的瓷砖中蒙太奇马赛克，其中瓷砖具有非线性相对变形

弹性景观
从连续三维模型中投影变形三维模型系列

特拉克EM2
通过对齐菜单将弹性蒙太奇和弹性系列对齐结合在一起，用于大型多图块部分系列的系列对齐和蒙太奇

图像被扭曲，使得相应区域最佳重叠。计算每个单个图像的扭曲，以便整个全局蒙太奇或系列中的每个图像变形最小。这样，可以对每个大系列的图像进行对齐，从而消耗人工扭曲。

弹簧纤维的弹性变形

Fig. 1: Triangular section mesh with a resolution of 5 vertices per each long row.

We achieve this globally minimized deformation by simulating the alignment as an elastic system of spring connected vertices. Zero-length springs connect corresponding locations between two overlapping images and warp the images towards perfect overlap. Non-zero length springs within the image preserve each images shape at locally rigid transformation. That way, the system penalizes arbitrary warp and distributes the deformation evenly among all images.

每个图都被剖析为正三角形网格，每个顶点通过弹簧与顶点连接（图1）。弹簧三角形在平面上有两种成本：1）刚性变形时和2）翻转刚性变换时。相反，对于所有小于三角形大小的局部变形，网格将向刚性变换。对于增大的变形，可能会折叠。三角形的顶点定义了三角形中所有像素的仿射变换。

对于源与目标图像重叠的那些顶点，我们确定其在目标图像中的相应位置。然后，顶点通过零高度弹簧连接到目标网格，其目标端位于目标图像三角形中的任一位置。此“`passive’ end does not contribute to the deformation of the target mesh. During simulation, it moves according to the affine transformation defined by the target triangle. Vice versa, vertices of the target image are connected to their corresponding location in the source image with their `桥梁”末端由源三角形的相应仿射变换移动。

线性初始化

松弛网格系统和识别图像之间的对应位置都需要良好的初始化。前面是因为网格会折叠，不然晚上会缩小匹配空间，两者都有好处，了速度和更好的可靠性。我们使用基于local image features.¹的每一个图像线性最佳预对齐来提高初始化系统

块匹配

Corresponding locations are searched through block matching. Initialized from an approximate linear pairwise alignment that is estimated using local image features, the local vicinity around each vertex is inspected for an optimal match. We use the The PMCC coefficent r of a patch around the vertex and the overlapping patch in the other image as the quality measure for a match. The location with maximal r specifies the offset of the vertex relative to the initial linear alignment.

我们在图像的合理缩小版本上执行块匹配。理想的缩放因子取决于信号的应用和质量。为了克服估计偏移的准确性降低的问题，我们使用布朗方法²来估计估计的子像素偏移。另外，为了拒绝误差匹配，设置了三个基于相关面的局部滤波器：

r 的最小阈值
如果匹配的r低于给定的阈值，则被拒绝

边缘响应滤波器
如果匹配位置处 r(x,y) 的主曲率与最大给定阈值的因子相关，则匹配会因边缘响应而被拒绝。³

歧义过滤器
如果第二好的r(x,y)与最佳的非常相似，则匹配会因不明显而被拒绝。相似意味着通过给定阈值最大的因子相关。³

另请参见§§0§§§插件

参数讨论

所有指定像素距离的均值参数指图像的原始比例。

Fig. 3: Edge response filter. The ratio of the two principal curvatures (Hessian eigenvalues) of at a detection determines how well it is defined in both dimensions. A large ratio signalizes an edge response.

输入
这个插件都可以处理图像堆栈。两个堆栈可能是虚拟的，强烈建议对于非常大的图像。 输出
这些插件分别将其输出导出为一个文件或一系列文件。此外，之前提取的local features和feature correspondences被保存以供以后在参数触发期间重复使用（感谢Albert Cardona添加此内容）。更改输入数据时，请确保您在一个清晰的文件夹中工作，因为保存的匹配项和功能仅通过其堆栈索引和参数来标识。 您可以选择是否对结果进行插值。选中“可视化”瀑布网格模拟渲染到512×512像素阵列中以用于渲染目的。使用上面讨论的瀑布网格的变形来渲染结果。参数分辨率指定此网格的长行中的顶点数，数字越大，结果越平滑。通常，您绝对不需要超过128。或者，结果可以渲染为绿色背景的RGB以显着的方式标记空背景像素，例如当生成连续系列匹配的蒙太奇时。 块匹配
您可以在此处指定执行匹配的比例因子。选择此尺寸，以便 1) 实际上不可见高水平噪声，2) 用于系列对齐，使像素大约与切片厚度一样大（或大于）。所有进一步的距离均以原始图像大小的像素指定。块匹配的搜索半径必须包括相对于近似线性对齐预期的最大非线性变形。同时应保持尽可能小，以提高速度并防止错误匹配。同样，块半径应该足够大以包含可识别的纹理，但不能太大。通常，将两个半径设置为相似的值是一个不错的选择。 分辨率 指定一长排弹簧网格中的顶点数量，如图 1 所示。TrakEM2 不要求蒙太奇中的所有图像图块具有相同的尺寸。因此，它要求指定网格中三角形的边长。这样，可以计算每个图像的单独网格分辨率，以便所有图块都通过近似相同分辨率的网格建模。

Fig. 4: The effect of block matching filters. (ssTEM image data courtesy of Richard Fetter)

相关滤波器
蒙太奇（相同信号）的最小PMCC r 的阈值可能是一系列调整（改变信号）的阈值。右边的值将导致更多的匹配被拒绝，从而减少误报。最大曲率比是边缘对应的阈值，如图2和3所示。2和3。该值必须>1.0。右边的值将接受更多与细长结构的匹配，从而可能导致更多的误报。最大第二个r / r 是非模糊检测的最大阈值。其中一个值将接受更多可能是误报的模糊匹配。

局部平滑滤波器
特别是对于“系列对齐”，基于块相关的局部过滤器将拒绝太多匹配（误报）或让一些错误匹配通过（误报）。由于失去的正确匹配会降低比对的质量，因此我们通过仅使用适应的局部相关滤波器来将误报率在保持最低水平。利用变形场的平滑度可以希望识别并拒绝后面的误报（图） 4）。局部平滑过滤器检查每个匹配，并比较估计的平移中心偏移与所有其他匹配的一致程度，这些其他匹配按与所检查的匹配的距离加权。因此，采用加权最小二乘法计算局部线性变换（通常是载荷的）。每个场场施工的权重由参考比赛的PMCC coefficent PMCC coefficent定义。如果匹配相对于估计的线性变换的传输效率大于绝对阈值或大于k×所有权重匹配的平均传输效率（k在相对字段中指定），则匹配被拒绝。

杂项
ImageJ缺乏对Alpha通道的支持，您可以在系列调色期间忽略完全绿色(rgb:0,255,0)像素。这是一个处理未覆盖整个照明的蒙太奇的技巧。TrakEM2支持Alpha通道，以便自动正确处理背景像素。 TrakEM2和弹性堆栈对齐都提供将系列或剪辑视为预对齐（布局），通过它可以跳过基于特征的预对齐步骤。对于系列对齐，要比较的层的范围可能受到限制。 特征提取和几何过滤器
在 Feature Extraction 页面查找文档。此对话框中指定的近似变换模型仅用于几何一致性过滤器和成对预对齐。它应尽可能接近实际变形。也就是说，几乎在任何情况下您都应该选择仿射变换。 在蒙太奇插件中，所有都会图像相互比较。对于包含大量图像的蒙太奇来说是禁止的。对于大型蒙太奇，请使用TrakEM2，其中先验信息可用于限制仅与重叠图像进行比较。不仅对于系列对齐，尝试与系列中的后续部分我们建立匹配，而且还尝试与先前的范围内邻近多的部分（例如最多10）由于两个部分的相似度随着距离的增加而降低，因此在无法比较更接近的伙伴后，我们可以停止匹配部分。尽管如此，我们还是希望能够达到弥合质量或特殊工件的部分。您指定您可以愿意桥接的失败数量。 优化
近似优化用于初始化块匹配的对齐方式。迭代优化器在最大迭代之后停止，但不早于最大平台宽度，即使平方传递误差没有进一步减小，也需要为弹簧网格模拟指定相同的参数。通常，只有“平移”和“刚性”变换才会产生合理的配置，因为“相似性”和“仿射”变换在零大小折叠状态下都有其全局最优值。 对于系列对齐，跨部分的弹簧间隙为1.0/距离，其中距离是系列中的绝对指数差。对于蒙太奇，所有弹簧的弹簧间隙之间的重叠图像1.0。张力中的弹簧通过刚度指定。数值越大，变形越小，您的扭转结果不正确。由于模拟的过早“松弛”，非常小的值可能会导致变形分布不均匀。可以指定弹簧的最大拉伸程度，超过该拉伸程度后弹簧就会断裂。我们还没有进行这方面的实验。

未来的工作

我们将进一步研究根据数据集的可用元信息（分辨率、拓扑自动厚度、变形先验等）适当选择参数。我们将研究适当的识别策略，以识别变换场中的不连续性，例如在这些地方切割弹簧进行分割或折叠。我们将研究通过精度分级解决问题的策略，以获得更好的局部精度和提高的速度。

参考文献