跟踪算法的问题总是给出答案。
这个答案可能是无关的，甚至是非物理的，并且没有内置标志来指示错误。避免下游分析完全基于错误的跟踪结果的最佳方法是了解跟踪器在什么情况下效果最好，以及它的限制是什么。这是本页针对TrackMate附带的跟踪器和重要的目的。
ISBI 2012 单粒子挑战
2011-2012年，为Single-Particle Tracking algorithms组织了ISBI Grand Challenge。虽然TrackMate并没有提供全新的算法、原始研究工作的成果，但我们抓住了机会并涉及到挑战。随后发布了计算跟踪算法准确性的结果和方法1。
不出所料，我们并没有取得最好的成绩。当时，TrackMate 的版本为 1.1，并发布了性能更好的 Jaqaman 等人 LAP 框架的专业版本2。有关算法详细信息，请参阅LAP trackers section。另外，TrackMate 那时候还很年轻，一些错误也无济于事。
TrackMate v2.7.x 系列相对于 ISBI 数据集的准确度
从 v2.7.x 开始，TrackMate 推出了一个新的跟踪器，可以专门处理线性运动。我们认为现在是使用 ISBI 挑战数据提供运行准确性重新评估的最佳时机。 Icy 后面的人们有了该网站来托管挑战数据，并且迄今为止仍然提供下载。
下图显示了 TrackMate 中可用的 3 类跟踪算法的准确度比较：
- LAP 框架底层 Jaqaman 等人2。
- 基于卡尔曼滤波器的线性运动跟踪器。
- 简单的最近的邻居跟踪器提供参考。
场景
最好直接阅读论文1以了解这些背后的内容，但这里简要概述了它们是如何完成的。ISBI数据集主要四个场景：
|
场景名称 |
颗粒形状 |
运动类型 |
|---|---|---|
|
微小拉长的形状以模仿MT尖端染色。 |
大致等高速运动。 |
|
|
球形。 |
Brownian motion: switch between Brownian and directed motion with random orientation for the later. |
|
|
在布朗运动和定向运动之间切换，具有固定方向。 |
对于每种场景，图像涵盖多种粒子密度：
- 最低：60-100/帧
- 中：400-500/帧
- 高：700-1000/帧
检查当粒子变得非常密集时跟踪算法的行为方式。
另外，粒子 SNR 多个涵盖值：1、2、4、7（对于接收部分加上 3）。正如第 challenge page 中所述：“SNR=4 是方法可能开始崩溃的临界水平”。
挑战集中数据的示例图片
下面显示了拍摄典型图像中的挑战。
不同的颗粒密度
对比度延伸至 0-150 8 位范围。
改变采购信噪比
对比度延伸至 0-50 8 位范围。
MICROTUBULE 场景形状粒子
###准确度测量
对于众多场景和条件，该方法都会返回许多描绘跟踪算法准确性的值。 this technical paper 中有详细说明。我们下面只涉及其中的三个：
- 地形之间的杰卡德相似度，计算算法返回地形与地面真实情况的匹配程度。该值评估您在 TrackMate 中选择的spot tracker的准确性。它的范围从 0（最）到 1（找到的地形 = 真实情况）。
- 检测之间的杰卡德相似度，量化检测算法检测到的粒子与地面事实的匹配程度。它很大程度上取决于您在 TrackMate 中选择的 spot detector，范围从 0 到 1，如上面的数量。
- 检测位置均方根误差，量化检测到的粒子位置的精确度。越小越好。 我依靠Icy来计算这些值。TrackMate 提供了一个操作，可将跟踪结果导出为 ISBI 挑战所规定的 XML 格式，这可以在 here 中找到。我针对场景的所有条件生成了这些文件，并使用 Icy ISBI challenge scoring plugin 生成指标。然后我使用 MATLAB 来关联它们。
使用的参数
除非下面有说明，我总是使用LoG作为点监测，估计样本直径为2，并使用亚像素精度。当信噪比低于4时，该检测器完全崩溃，检测结果以噪声为主。我没有做任何特别的事情来将其提高到以下。
当检测器的检测质量直方图不是双峰时，我选择一个返回质量阈值，该阈值大约产生序列中预期的人群数量。
三个点跟踪器的配置如下表所示。在不同的场景中始终保持相同的参数并不是很明智，但是对于您可以在 TrackMate 中调整的内容，更大的空间尺寸。
| Spot tracker | Parameter | Value |
|---|---|---|
| 卡曼跟踪器（线性运动） | Initial search radius | 10 |
| Search radius | 7 | |
| Max frame gap | 3 | |
| LAP跟踪器（布朗运动） | Max linking distance | 7 |
| Max gap-closing distance | 10 | |
| Max frame gap | 3 | |
| Nearest neighbor | Max search distance | 10 |
最后，对于 SNR<4，我过滤掉了检测次数少于 4 次的轨迹。
结果
下面介绍了众多情况的结果并进行了评论。由于我们对所有场景使用相同的检测器，因此所有测量都具有共同的形状，因为它们对 SNR 的要求。
基本上，SNR ≥ 3 的精度是相同的。当 SNR = 2 以下时，电位无法可靠地找到所有粒子。对于 SNR 为 2 的情况，它仍然可以在最亮的粒子中找到正确的粒子集。当信噪比为 1 时，检测结果以关注检测主要，粒子链接算法的性能不再重要。所有这些都同样糟糕，因为它们跟踪了错误的粒子。
微管场景
这些场景探讨了 TrackMate 算法在大致等速运动模型中的表现如何。毫不奇怪，线性运动跟踪器表现最好，并且能够很好地抵抗高密度颗粒。
即使在理想情况下，LAP跟踪器也表现不佳，因为它期望平均粒子位置至少在短时间刻度上保持稳定，但事实并非如此。因此，它的性能接近最近邻搜索算法给出了最坏的情况。
镊子位置的 RMSE 在 4 种情况中是最差的。这是当 LoG 预期出现亮点时，镊子形状不精确且拉长的明显结果。不过，这并不影响跟踪结果。
受体场景
TrackMate 没有专门解决这种情况的粒子连接算法。运动模型从布朗运动切换到线性运动，我们有处理其中一种或另一种算法。因此，发现它们的表现几乎非常不足为奇了。
幸运的是，精度值相当不错，并且不会因粒子数而受到严重影响。我们还发现，在所有条件下，线性运动跟踪器的表现都比其他跟踪器稍好。
囊泡场景
这些场景的运动模型是纯布朗运动。毫不奇怪，LAP跟踪器表现最好，因为它准确地模拟了这种情况。线性运动跟踪器被随机运动产生的连续方向改变所迷惑，甚至被最近邻搜索所取代。
病毒场景
就接收场景而言，TrackMate 没有针对该场景的特定跟踪器。与接收器场景的主要区别是表的线性运动部分都遵循相同的方向。同样，TrackMate 无法利用这一点信息，但它证明改变性能更好的算法（与接收场景相比）。
另外，此场景是唯一随时间传输 3D 数据的场景。由于 ImgLib2 维度通用性，TrackMate 并不介意。
评论
这些结果可以帮助您为您的问题选择正确的算法，并可能鼓励您实现自己的一些算法。如前所述，在一般情况下对这些指标论文的更深入的解释可以在原始 1 中找到。以下是当前版本的 TrackMate 特有的内容。
对于此准确性评估的参数和策略非常基本且未进行详细说明。这样，在用户利用其问题的更细微的特殊性之前，结果会给出“原始”准确性。下面的两部分快速发布了即使我们想改进结果，我们也可以做和不能做的事情。
TrackMate 未利用的挑战有哪些内容？
我们发现，在低信噪比下，检测步骤占主导地位，而无法健地检测微弱粒子是低分的原因。这里我没有尝试通过重新来改善图像检测结果。人们可以对进行去噪，或者对后续帧进行平均以提高信噪比。或者其更好的检测器可以以更好的方式处理低信噪比（也许是Low Light Tracking Tool）。
TrackMate 中的哪些内容是我们无法利用来应对挑战的？
LAP追踪器是第一批随TrackMate一起提供的追踪器。它们是的专业版本。它们仅基于平方距离成本（布朗运动），但可以通过基于数值特征的惩罚因子进行调节。例如，如果两个粒子的平均强度差异较大，则连接两个粒子的成本可能会受到惩罚。
挑战数据确实提供了这种可能性：所有粒子都大致相同的形状和强度（以信噪比的一些微小变化为模）。微管场景是一个例外，其中具有粒子细长的形状因此，我们可以计算它们的方向，并惩罚具有不同方向的两个粒子（假设-正确-两个帧之间的方向保持相同）。
