该检测器扩展了上面的 LoG 和 DoG 检测器，它们基于图像的拉普拉斯算子。 它基于 Hessian 矩阵，并且与这两个相比要慢一些。 然而，它对于出现在大对象边界旁边的点更加准确，并且可以通过在 XY 和 Z 中指定不同的对象形状来提高其在 3D 中的准确性。
该检测器是专门为本文创建的：
doi:10.1038/s41588-025-02406-9
原则。
有时需要在低信噪比图像中检测不太亮的亮点，并带有大量非特异性信号：
在上图中，我们在整个细胞核中观察到相当强的非特异性信号。该非特异性信号相对于背景的强度接近于斑点信号相对于非特异性信号的强度。就连图像中的原子核看起来也不高兴。
非特异性信号在细胞核边界处产生清晰锐利的边缘，由 LoG 检测器拾取，不幸的是质量很高。我们的目标是提出一种更好的检测器，具有更好的边缘响应消除能力。经过一些测试，我想出了一个基于 Hessian 矩阵行列式的检测器。
图像的 Hessian 矩阵是由源图像每个像素所有方向上的强度的二阶导数组合而成的张量。因此，如果 f 是强度，则每个像素处有：
（请注意，它是一个实数、对称矩阵。）该矩阵测量强度的“局部曲率”。在挥手解释中，假设我们在 2D 中工作，强度实际上是表面的高度。让我们仅考虑 2 个主要方向上的高度变化，我们假设它们与 X 轴和 Y 轴对齐。源图像中的亮点对应于我们表面类比中的尖锐峰值。在此峰的顶部，沿 X 方向的曲率绝对值较高且为负：高度增加很多，然后在峰后立即减小。因此，曲率hxx具有很大的绝对值。沿Y方向同样如此。
现在假设我们不是在峰值上计算曲率，而是在与 Y 轴对齐的亮线上计算曲率。在这种情况下，沿 X 轴的曲率仍然很高：当我们穿过该线时，高度立即增加和减小。但是沿着Y轴，当我们沿着线走时，高度不会改变，曲率是0。如果我们有一条沿着Y轴的边而不是一条线，情况是一样的：当我们沿着X轴穿过边时，曲率很高，但是沿着Y轴则为0。
如果我们现在将类比扩展到 3D 映射的表面，我们仍然有 3D 中的峰和线，但也有平面和平台。假设我们有一个与 YZ 对齐的平面。在这种情况下，当我们沿着 X 轴穿过它时，强度会发生很大变化，因此曲率 hxx 很高。当我们沿着 Y 和 X 沿着平面移动时，曲率 hyy 和 hzz 为 0。与 YZ 对齐的平台也是如此。
总之，在 3D 中，如果我们考虑 3 个变量 hxx、hyy 和 hzz 的绝对值：
- 明亮峰的 3 个值的绝对值较高。
- 其中两个对于飞机或高原来说很小。
- 其中一个对于线或边缘来说很小。
- 在图像的均匀区域中，它们都很小。
因此，我们可以构建一个点检测器，通过取 3 个曲率的乘积来利用这一事实。仅对于我们有亮点的位置，该乘积才会相对较高，并且对于平台和边缘应该提供低得多的值。如果主方向与 X、Y 和 Z 轴对齐，则上述类比有效。如果不是，我们可以对 Hessian 矩阵进行对角化（我们可以，它是实数且对称的）并使用特征值代替。但由于我们正在计算特征值的乘积，因此我们可以采用矩阵的行列式并跳过对角化步骤，从而更快。
新探测器基于以下计算：
这个想法绝对不新鲜。 Lindeberg [1] 已经在 90 年代沿着我们迄今为止一直使用的 LoG 检测器提出了它。我只是将其扩展到 3D。 Mikolajczyk 和 Schmidt [2] 指出，Hessian 矩阵的行列式对于具有许多虚假结构的图像中的斑点确实具有更强的特异性。此外，如果这个新检测器基于特征值（H 的行列式）的乘积，则 LoG 检测器基于特征值之和（H 的迹）。
在 TrackMate 中。
TrackMate 将展示带有特定配置面板的新探测器：
XY 和 Z 方向的光斑尺寸。
该检测器允许在 XY 和 Z 上配置不同大小的点，以考虑沿 Z 的伸长率。
标准化质量值。
此外，还有一个复选框，可分别将每个时间点的 Hessian 行列式图像的所有像素值标准化为 0 到 1 之间。选中此选项后，质量最高的点的质量将为 1。（如果您使用复杂的感兴趣区域，其中亮点位于 ROI 的边界框中，但在 ROI 之外，则质量可能会较低。）
这将有助于处理我们观察到的高漂白现象。事实上，这是一个我们有漂白的电影的例子。如果我们观察一段时间内的平均强度，我们会得到：
平均强度从开始到结束都除以5，因此如果根据第一个时间点设置质量阈值，我们很可能会错过后面时间点的相关点。相反，如果我们根据后面的时间点设置阈值，我们将在第一个时间点出现许多虚假点，这将使以后的跟踪变得复杂。如果您选择“标准化”选项，则所有时间点上所有斑点的质量范围都在 0 到 1 之间，这将减轻漂白的负面影响。
Hessian 检测器可以单独处理 ROI。
这是非常重要的，特别是与上面的质量标准化结合起来。 如果您在使用 Hessian 检测器时打开 ROI 管理器，它将单独处理列表中的每个 ROI，并忽略不在 ROI 中的部分图像。 例如，在跟踪视野中多个细胞内的单个点时，这非常有用，如下所示：
或者像这样：
与 LoG 检测器的基本比较。
现在我们想要检查 Hessian 检测器是否确实比 LoG 检测器更具体。您将在下面看到的内容使用上图中的参数。我选择了 Z 切片，其中 我们正在跟踪的地点存在。下面您可以看到 LoG 滤波器（左）和 Hessian 行列式（右）的结果，这些结果是在上面显示的单个单元格上计算的，最小和最大显示设置为 0 到 1，并使用“fire”LUT：
两张经过过滤的图像都在现场位置显示出强烈的响应。不过，很明显，LoG 图像在其他许多地方也引起了强烈的反响。例如，我们在原子核边缘附近观察到强烈的反应。我们还观察到细胞核内部的中间反应，这往往会以这种方式增加局部对比度。然而，黑森州的形象非常具体。我们只看到一个亮点，以及边缘上的一些微弱的点。但这些假点的强度远低于 LoG 对应点，因此它们会产生质量非常低的点，从而很容易将其过滤掉。通过查看两个滤波图像的直方图可以证实这一点：
LoG 图像的直方图非常宽，而 Hessian 行列式的直方图很薄。点质量值将从直方图中获取，我们看到在 Hessian 行列式直方图上更容易将少数真实点与虚假点分开。 （这个带有直方图的插图是不准确的，每个点没有一个垃圾箱，但它给出了一个想法。）
限制。
此外，Hessian 检测器对内存的要求更高。 LoG 计算可以用线性滤波来表示，并且只使用一个卷积。为了计算 Hessian 矩阵，我们需要以下中间图像（3D）：
- 如果源图像中的感兴趣区域 (ROI) 是具有 16 位值的 W x H x D 像素。
- 梯度的计算需要 3 个大小为 W x H x D 像素的图像，具有 32 位值（浮点数计算）。
- Hessian 矩阵的计算需要一张尺寸为 W x H x D x 6 像素且具有 32 位值的图像。最后一个维度用于存储二阶导数。因为Hessian矩阵是对称的，所以我们只需要存储上三角矩阵的6个元素。
- Hessian 矩阵的行列式需要存储具有 32 位值的 W x H x D 像素。
一旦计算出行列式，梯度图像和 Hessian 张量就会被丢弃。但它们可能足够大，以至于无法并行处理多个时间点。因此，在这个检测器中，多线程是按顺序处理每个时间点，并且所有可用的核心都在单个时间点上工作。 此外，如果您可以使用 ROI 来描绘要处理的多个稀疏区域，与处理整个图像相比，您将节省计算时间和 RAM。
-
有关他最近发表的论文，请查看 Lindeberg, T. Image Matching Using Generalized Scale-Space Interest Points。 J 数学成像可视化杂志 52, 3–36 (2015)。
-
Mikolajczyk, K.、Tuytelaars, T.、Schmid, C. 等人。 A Comparison of Affine Region Detectors。国际计算机视觉杂志 65, 43–72 (2005)。
