Kaggle Challenge
挑战是建立一种算法来检测医学图像中的肺炎视觉信号。具体来说,算法需要在胸片上自动定位肺部不透明度。
该竞赛是根据不同交叉点上的平均精度(IoU)阈值来评估的。一组预测边界框和地面实况边界框的IoU计算如下: IoU(A,B)=A∩B/A∪B 度量标准扫描一系列IoU阈值,在每个点计算平均精度值。阈值范围为0.4至0.75,步长为0.05 : (0.4, 0.45, 0.5, 0.55, 0.6, 0.65, 0.7, 0.75). 换句话说,在阈值为0.5时,如果预测对象与地面实况对象结合的交点大于0.5,则认为该预测对象是“命中”。 在每个阈值t,根据将预测对象与所有地面实况对象进行比较得到的true positives(TP),false negatives(FN)和false positives(FP)的数量计算精度值:
当单个预测对象与IoU高于阈值的地面实况对象匹配时,计算真正的正数。误报表示预测对象没有相关的地面实况对象。假阴性表示地面实况对象没有关联的预测对象。重要提示:如果给定图像根本没有地面实况对象,则任何数量的预测(误报)都会导致图像得到零分,并包含在平均精度中。 单个图像的平均精度计算为每个IoU阈值的上述精度值的平均值:
在您的提交中,还要求confidence为每个边界框提供一个级别。边界框将按照上述过程中的置信度顺序进行评估。这意味着将首先检查具有较高置信度的边界框以匹配解决方案,这确定哪些框被视为真实和误报。 注:在几乎所有情况下confidence将不会对得分的影响。它的存在主要是为了允许以特定顺序评估提交框以解决极端边缘情况。已知这些边缘情况都不存在于数据集中。如果您不想使用或计算,confidence可以使用占位符值 - 例如1.0- 表示没有特定的订单适用于我们的提交框的评估。
最后,竞赛度量返回的分数是在测试数据集中每个图像的各个平均精度所取的平均值。
2018年10月17日 - 报名截止日期。您必须在此日期之前接受竞赛规则才能参加比赛
2018年10月17日 - 团队合并截止日期。这是参与者加入或合并团队的最后一天
2018年10月24日 - 第1阶段结束和模型上传截止日期
2018年10月25日 - 第2阶段开始。上传了新的测试集
2018年10月31日 - 第2阶段结束和最终提交截止日期
2018年11月9日 - 获奖者应得的解决方案及其他获奖者义务
2018年11月25日至30日 - 在伊利诺伊州芝加哥举行的 RSNA 2018年会议