一、   目标识别技术组

3.1 离线测试数据库与竞赛规则

1. 评估程序包概述
       本程序包为2018年比赛使用，旨在方便参赛队伍熟悉评估过程（文件夹中的train和test数据集合均已包含在2019年比赛的训练集中）。下载地址：
              链接：https://pan.baidu.com/s/1ZdEa3gbuguenXtM4iWrijQ
              提取码：pp10
       水下图像目标检测2018数据库文件夹结构如下：
                     train/
                     |--image/
                     |--box/
                     test/
                     |--image/
                     |--box/
                     devkit
                     |--data
                     |--evaluation
       其中train/image文件夹中包含所有训练数据，这些图片之间不存在帧间连续性。图片路径示例如下：train/image/G0024172_0469.jpg，其对应的目标检测标注真值位于路径 train/box/G0024172_0469/0205.xml文件中，该文件包含了对应图像中所有物体的类别以及目标框参数（位置和尺寸）。本届比赛需检测的目标类别包括海参，海胆，扇贝和海星四类。
       devkit文件夹包含了用于评测算法性能的代码与数据。其中devkit/data/train.txt文件为所有训练集图片的列表，每一行格式为：“image_name image_id”。第一项为某一训练图片的路径，第二项为该图片的id。例如：“YDXJ0001_11058 727” 所指代的图像为train/image/YDXJ0001_11058.jpg，其id为727，所有图像以及id命名都从1开始。devkit/data/test.txt与train.txt格式相同，是测试集所有图片的列表，devkit/data/meta_data.mat包含了数据种类的信息，在MATLAB中导入可得如下结构体数组：
synsets =
1x4 struct array with fields:
cls_id
name
其中cls_id为类别的标签（1,2,3,4），name为类别的名字（“holothurian”, “echinus”, “scallop”，“starfish”）。 训练数据真值中可能存在水草这一类别，请忽略这一类。
devkit/evaluation/VOCreadxml.m为用于读取xml标注文件的MATLAB程序。
 
2. 评测方法
       本竞赛参考了ILSVRC2015 Object Detection任务的评测方法，采用平均准确(mAP)作为评价指标，详细说明请参考：
       http://image-net.org/challenges/LSVRC/2015/index#maincomp
       给定目标框真值BG与目标种类真值CG，假设算法预测的目标框为B，预测的目标种类为C。当C与CG一致并且目标框BG与B的重叠率(IOU)大于某一阈值时判定该预测为一次准确检测。目标框的重叠率计算方式为: 对于大小为m*n的真值目标框，阈值计算方法为 不满足上述条件的检测结果（种类不一致或目标框重叠率低于阈值）将被判为误检。对同一目标的重复检测也将被判为误检。
 
3. 比赛任务提交格式
       比赛任务提交格式(请注意一定要保证格式正确，可参考 devkit/results/result_gt_sample.txt）：
 
参赛算法的预测结果将以一个txt格式的文件提交。文件的每一行对应一个检测到的目标，格式如下：
<image_id> <class_id> <confidence> <xmin> <ymin> <xmax> <ymax>
1 1 0.377665907145 115.43637085 410.561065674 402.517791748 479.0
（以空格间隔）
 
其中image_id为测试图片的id号（列于devkit/data/test_list.txt中）, class_id 为物体的种类（参见devkit/data/meta_data.mat）, confidence为算法对于这一预测的置信度，xmin ymin为目标框左上角点坐标，xmax ymax为目标框右下角点坐标。
 
用于评测算法的MATLAB程序位于devkit/evaluation/eval_detection.m。为了便于理解，我们提供了示例程序devkit/evaluation/demo_eval_det.m，该程序对预测结果示例文件devkit/results/result_gt_sample.txt进行评测。
 
4. 预赛环境
       所有参赛队将线上提交测试结果，组委会根据总体识别精度排名确定决赛入选队伍。
       测试数据集发布时间：2019.8.8
       最终结果提交时间：2019.8.15-2018.8.16
 
5. 训练数据
第一批训练数据：
链接：https://pan.baidu.com/s/1p3Qez2OeIkCf2pEOLVaNxA
提取码：syet
第二批训练数据
链接：https://pan.baidu.com/s/1Hf2R1vLQYpQ6Q_pzo2NMNA
提取码：6pdn
所有训练数据（第一批和第二批的合集）
链接：https://pan.baidu.com/s/1Ec-1-YiKpGaOcYfirkD2PQ
提取码：ugr9
 
6. 决赛环境
决赛参赛队现场进行演示（主要考查结果重现和算法速度），提供三台相同配置的PC机用于测试。软硬件默认配置如下：
CPU： Intel i7-6700@3.4GHz
内存： 32GB
GPU： NVIDIA GeForce GTX 1080
显存： 8GB
硬盘： 2TB SSD
操作系统：Ubuntu 14.04 LTS，安装有CUDA-8.0。其余软件请各参赛组按照各自所需提前联系竞赛组委会进行安装。

3.2 在线测试竞赛规则

1. 测试环境
       在线测试环境由一10m x 2m区域构成。如下图所示，包含测量区和计数区两部分。在检测区域内随机投放待检测目标。
  2. 比赛规则
总体说明
1)        比赛分为尺寸测量和检测计数两部分，以最终精度排名。
2)        总体限时15分钟，两个分任务无单独限时。
3)        鼓励机器人全自主航行，参见最终精度权值（全自主航行定义为在进入尺寸测量区和检测计数区后参赛队无包括控制机器人行进在内的任何操作）。
检测计数说明
1)        本次比赛对海参，海胆，扇贝三种类别进行检测计数。
2)        参数队需按主办方要求格式提交计数结果和计数过程视频。计数过程视频将作为裁判组判定计数结果是否有效的重要依据。
尺寸测量说明
1)        本次比赛只测量海参尺寸（海参的长度，误差范围为±0.3厘米）；
2)        每个海参附近均有对应的编号， 编号大小随机（勿以编号尺寸作为参考）。
3)        参数队需按主办方要求格式提交每个目标的测量结果（被漏测的目标记录为精度不达标，即记为0）
精度评估
最终精度包含计数精度和测量精度两部分，具体计算说明如图2所示。  
常见问题回答：
 
问题5：尺寸测量评价指标中的阈值为多少？
回答：测量阈值即误差范围为±0.3厘米（海参模型长度为7厘米到11厘米之间）
 
问题4：尺寸测量时的编号可以人为输入吗？还是需要机器人自动识别？
回答：自动识别或人为输出都可以。如果选择全自主识别则需要自动识别，且全程无人为操作过程。
 
问题3：目标识别（在线）组需要测量海参的尺寸，那场地是否会设置辅助测量或标定物品？
回答：本次比赛仅测量海参长度，无辅助测量或标定物品。
 
问题2：目标识别（在线）组的水下机器人有何限制？比如结构上采用开架式。
回答：结构上无限制，体积重量等参考抓取组比赛。
 
问题1：目标识别（在线）组资格赛和决赛的场地情况是否同抓取组一样，资格赛为近岸水域，决赛为开放水域？
回答：目标识别（在线）组比赛直接进行决赛（即无资格赛），在近岸水域进行。