mmrotate旋转目标检测框架的学习与使用-编程学习网

conda create -n open-mmlab python=3.7 pytorch==1.7.0 cudatoolkit=10.1 torchvision -c pytorch -y
conda activate open-mmlab
pip install openmim
mim install mmcv-full
mim install mmdet
git clone https://github.com/open-mmlab/mmrotate.git
cd mmrotate
pip install -r requirements/build.txt
pip install -v -e .

一切顺利之后，为了验证是否正确安装了 MMRotate，我们需进行以下操作。

1. 下载checkpoint文件

新建一个checkpoint文件夹，将checkpoint文件下载到该文件夹下，checkpoint文件可根据自己的需求进行下载，我下载的是s2anet_r50_fpn_1x_dota_le135-5dfcf396.pth和s2anet_r50_fpn_fp16_1x_dota_le135-5cac515c.pth

2. 运行demo

运行指令形式如下：

python demo/image_demo.py \
${IMG_ROOT} \
${CONFIG_FILE} \
${CHECKPOINT_FILE} \
${OUT_FILE}

IMG_ROOT：为待检测图像
CONFIG_FILE：为配置文件
CHECKPOINT_FILE：为训练好的权重。

OUT_FILE：输出图片的保存zaizh

输入以下指令：

 python ./demo/image_demo.py ./demo/demo.jpg ./configs/s2anet/s2anet_r50_fpn_fp16_1x_dota_le135.py ./checkpoint/s2anet_r50_fpn_fp16_1x_dota_le135-5cac515c.pth --out-file ./demo/result.jpg

应该正常运行的，但是出现了错误（如果运行正常，会在demo文件夹下看到结果result.jpg）：

有可能是在开始安装mmcv-full的时候，没有指定版本，选择直接安装，如下：

pip install mmcv-full

采用这样默认安装mmcv-full的方式，如果与你环境里的cuda和torch版本不匹配，就容易出现上面报错，卸载掉原来的mmcv。

pip uninstall mmcv-full

打开mmcv，点击下图已经建立好的对应版本，进行安装。

我的是torch1.7.0 cuda10.1，对应的install形式如下：

pip install mmcv-full=={mmcv_version} -f https://download.openmmlab.com/mmcv/dist/cu101/torch1.7.0/index.html

需要指定mmcv_version，前面报错有提示： Please install mmcv>=1.4.5, <=1.6.0，故选择1.6.0进行安装

pip install mmcv-full==1.6.0 -f https://download.openmmlab.com/mmcv/dist/cu101/torch1.7.0/index.html

安装完成后，输入指令再次进行测试：

 python ./demo/image_demo.py ./demo/demo.jpg ./configs/s2anet/s2anet_r50_fpn_fp16_1x_dota_le135.py ./checkpoint/s2anet_r50_fpn_fp16_1x_dota_le135-5cac515c.pth --out-file ./demo/result.jpg

原图与输出结果的对比;

1. 标注数据

使用的工具是rolabelimg，rolabelimg安装过程太过繁琐，为了节省精力，已提供rolabelimg.exe，可自行下载

链接：https://pan.baidu.com/s/1j9uV-_2zYC7pb6YTzaeLXQ 提取码：qxmg

为了进行后续操作，新建data文件夹，在data文件夹下新建DOTA文件夹，将标注好的数据放到DOTA文件夹下

2. 标签格式转换

新建voc2dota.py文件，将xml标签转换为DOTA的标签，注意代码中的图片和标签地址，以及图片格式，根据实际情况自行修改

# 将xml格式的标签转化为txt格式，并输出标注好的图片import osimport xml.etree.ElementTree as ETimport mathimport cv2 as cvdef voc_to_dota(xml_path, xml_name):    txt_name = xml_name[:-4] + '.txt'    txt_path = xml_path[:-4] + '/txt_label'    if not os.path.exists(txt_path):        os.makedirs(txt_path)    txt_file = os.path.join(txt_path, txt_name)    file_path = os.path.join(xml_path, file_list[i])    tree = ET.parse(os.path.join(file_path))    root = tree.getroot()    # print(root[6][0].text)    image_path = '../data/DOTA/images/'    out_path = '../data/DOTA/outputImg/'    filename = image_path + xml_name[:-4] + '.Jpeg'    img = cv.imread(filename)    with open(txt_file, "w+", encoding='UTF-8') as out_file:        # out_file.write('imagesource:null' + '\n' + 'gsd:null' + '\n')        for obj in root.findall('object'):            name = obj.find('name').text            difficult = obj.find('difficult').text            # print(name, difficult)            robndbox = obj.find('robndbox')            cx = float(robndbox.find('cx').text)            cy = float(robndbox.find('cy').text)            w = float(robndbox.find('w').text)            h = float(robndbox.find('h').text)            angle = float(robndbox.find('angle').text)            # print(cx, cy, w, h, angle)            p0x, p0y = rotatePoint(cx, cy, cx - w / 2, cy - h / 2, -angle)            p1x, p1y = rotatePoint(cx, cy, cx + w / 2, cy - h / 2, -angle)            p2x, p2y = rotatePoint(cx, cy, cx + w / 2, cy + h / 2, -angle)            p3x, p3y = rotatePoint(cx, cy, cx - w / 2, cy + h / 2, -angle)            # 找最左上角的点            dict = {p0y:p0x, p1y:p1x, p2y:p2x, p3y:p3x}            list = find_topLeftPopint(dict)            #print((list))            if list[0] == p0x:                list_xy = [p0x, p0y, p1x, p1y, p2x, p2y, p3x, p3y]            elif list[0] == p1x:                list_xy = [p1x, p1y, p2x, p2y, p3x, p3y, p0x, p0y]            elif list[0] == p2x:                list_xy = [p2x, p2y, p3x, p3y, p0x, p0y, p1x, p1y]            else:                list_xy = [p3x, p3y, p0x, p0y, p1x, p1y, p2x, p2y]            # 在原图上画矩形 看是否转换正确            cv.line(img, (int(list_xy[0]), int(list_xy[1])), (int(list_xy[2]), int(list_xy[3])), color=(255, 0, 0), thickness=3)            cv.line(img, (int(list_xy[2]), int(list_xy[3])), (int(list_xy[4]), int(list_xy[5])), color=(0, 255, 0), thickness= 3)            cv.line(img, (int(list_xy[4]), int(list_xy[5])), (int(list_xy[6]), int(list_xy[7])), color=(0, 0, 255), thickness = 2)            cv.line(img, (int(list_xy[6]), int(list_xy[7])), (int(list_xy[0]), int(list_xy[1])), color=(255, 255, 0), thickness = 2)            cv.imwrite(out_path + xml_name[:-4] + '.Jpeg', img)            data = str(list_xy[0]) + " " + str(list_xy[1]) + " " + str(list_xy[2]) + " " + str(list_xy[3]) + " " + \                   str(list_xy[4]) + " " + str(list_xy[5]) + " " + str(list_xy[6]) + " " + str(list_xy[7]) + " "            data = data + name + " " + difficult + "\n"            out_file.write(data)def find_topLeftPopint(dict):    dict_keys = sorted(dict.keys())  # y值    temp = [dict[dict_keys[0]], dict[dict_keys[1]]]    minx = min(temp)    if minx == temp[0]:        miny = dict_keys[0]    else:        miny = dict_keys[1]    return [minx, miny]# 转换成四点坐标def rotatePoint(xc, yc, xp, yp, theta):    xoff = xp - xc    yoff = yp - yc    cosTheta = math.cos(theta)    sinTheta = math.sin(theta)    pResx = cosTheta * xoff + sinTheta * yoff    pResy = - sinTheta * xoff + cosTheta * yoff    # pRes = (xc + pResx, yc + pResy)    # 保留一位小数点    return float(format(xc + pResx, '.1f')), float(format(yc + pResy, '.1f'))    # return xc + pResx, yc + pResyif __name__ == '__main__':    root_path = '../data/DOTA/xml'    file_list = os.listdir(root_path)    for i in range(0, len(file_list)):        if ('.xml' in file_list[i]) or ('.XML' in file_list[i]):            voc_to_dota(root_path, file_list[i])            print('----------------------------------------{}{}----------------------------------------'                  .format(file_list[i], ' has Done!'))        else:            print(file_list[i] + ' is not xml file')

运行成功后，会生成txt_label文件

3. 可视化数据集

tools/misc/browse_dataset.py帮助用户浏览检测的数据集（包括图像和检测框的标注），或将图像
保存到指定目录，指令形式如下：

python tools/misc/browse_dataset.py ${CONFIG} [-h] [--skip-type ${SKIP_TYPE[SKIP_TYPE.
,→..]}] [--output-dir ${OUTPUT_DIR}] [--not-show] [--show-interval ${SHOW_INTERVAL}]

python tools/misc/browse_dataset.py configs/s2anet/s2anet_r50_fpn_1x_dota_le135.py  --output-dir out

运行成功后，在mmrotate/out文件下可以看到标注好的图片，以检验转换是否成功

4. 数据集裁剪

将上述数据集分成 train、test、val 、trainval等几部分（我是手动划分的：train 80%，test 10%，val 10%）以便于训练，其中每个部分的文件夹下都包含有 images(图像) 和 labelTxt(对应的txt标签)

将 train、test、val 中的图片进行裁剪，在mmrotate/tools/data/dota/split/ 路径下img_split.py文件(裁剪脚本) 以及 mmrotate/tools/data/dota/split/split_configs/ 路径下的配置文件，其文件内容就是img_split.py的配置信息，我们需要修改其中的参数，让其加载上述的train、test、val中的图像及标签，并进行裁剪，以ss_train.json为例，需要修改的地方有图片地址，标签地址，分割后保存地址，以及保存图片的格式（若按照前面的操作设置文件名，则无需进行修改，只需要注意图片格式），ss_test.json和ss_val.json的修改同理

修改完上述文件后，运行如下指令，进行数据裁剪：

python tools/data/dota/split/img_split.py --base-json tools/data/dota/split/split_configs/ss_train.jsonpython tools/data/dota/split/img_split.py --base-json tools/data/dota/split/split_configs/ss_test.jsonpython tools/data/dota/split/img_split.py --base-json tools/data/dota/split/split_configs/ss_val.jsonpython tools/data/dota/split/img_split.py --base-json tools/data/dota/split/split_configs/ss_trainval.json

裁剪完后的数据集路径为mmrotate/data/split_ss_dota，结果如下：

数据集准备好之后，接下来，需要修改训练相关的配置信息：

1. 修改classes

以s2anet_r50_fpn_1x_dota_le135.py为例，将其中的num_classes=15改成num_classes=1（根据自己数据集的类别数量进行修改）

同时，修改 mmrotate/mmrotate/datasets/dota.py 文件中的类别名称，注意只有一个类别时不要去掉逗号，修改图像数据集的后缀

最后，修改训练使用的数据集路径：找到并打开 mmrotate/configs/_base_/datasets/dotav1.py 文件，修改其中的 data_root 路径为自己裁剪的数据集路径

上述配置完成后即可训练，即可进行训练，其他可进行修改的地方如下：

2. 修改训练参数

修改线程数、batch_size和测试集标签路径(mmrotate/configs/base/datasets/dotav1.py)

修改训练epoches(mmrotate/configs/_base_/schedules/schedule_1x.py)

注意：有的模型修改schedule_1x.py无效，因为其在继承了schedule_1x.py后进行了改写，例如，oriented_reppoints_r50_fpn_40e_dota_ms_le135.py里对上述参数已进行了设置，用此模型进行训练，只能在oriented_reppoints_r50_fpn_40e_dota_ms_le135.py中修改相应参数，而修改schedule_1x.py无效

修改模型训练的日志打印和load from加载预训练模型（configs/_base_/default_runtime.py），此处特别容易犯错，更换网络进行训练一定要及时替换相应的预训练模型，log_config封装了多个记录器挂钩，并允许设置间隔。现在MMCV支持WandbLoggerHook, MlflowLoggerHook和TensorboardLoggerHook。详细用法可以在官方文档中找到。

1. 训练

python tools/train.py ${CONFIG_FILE} [optional arguments]

--work_dir ${YOUR_WORK_DIR}

训练主要有两个参数： config：使用的模型文件； - -work-dir：训练得到的模型及配置信息保存的路径，新建如下路径work-dir/run/s2anet/保存训练结果，输入以下指令进行训练

python tools/train.py configs/s2anet/s2anet_r50_fpn_1x_dota_le135.py --work-dir work-dir/run/s2anet/

2. 测试

python tools/test.py ${CONFIG_FILE} ${CHECKPOINT_FILE} [optional arguments]

测试主要有三个参数： config：使用的模型文件；checkpoint：训练得到的模型权重文件; --show-dir：预测结果存放的路径。新建如下路径work-dir/run/s2anet/保存测试结果，输入以下指令进行测试

python tools/test.py configs/s2anet/s2anet_r50_fpn_1x_dota_le135.py work-dir/run/s2anet/latest.pth --show-dir work-dir/output/s2anet/ --eval mAP

运行报错，然后查看了一下test数据集，发现标签文件为空

然后查看mmrotate/tools/data/dota/split/split_configs/ss_test.json文件，会发现没有标签文件路径，这就是造成上述现象的原因（DOTA数据集是在线验证，本地没有标签也可以检测训练效果，自行标注的数据集是离线验证，没有标签无法检测训练效果）

解决办法是在ss_test.json文件中添加上路径，重新进行原数据的分割，或者修改mmrotate/configs/_base_/datasets/dotav1.py为测试集的路径为验证集或训练集路径

然后再输入指令，可得到测试结果，更多测试操作见官方文档

python tools/test.py configs/s2anet/s2anet_r50_fpn_1x_dota_le135.py work-dir/run/s2anet/latest.pth --show-dir work-dir/output/s2anet/ --eval mAP

3. 预测

测试是为了检验训练效果，得到mAP、FPS等指标，进行模型性能评价，而预测则是将训练好的模型进行部署应用。输入以下指令进行单张图片的预测：

python ./demo/image_demo.py ./demo/00008.Jpeg ./configs/s2anet/s2anet_r50_fpn_1x_dota_le135.py ./work-dir/run/s2anet/latest.pth --out-file ./demo/result.Jpeg

要想实现文件夹下多张图片或者视频的预测，可以参考mmdection的相关资料对demo.py进行修改。

上述是我以S2A为例从环境配置到训练自己的数据集全过程，在实际使用中，如果自己的图片尺寸不是特别大，可以跳过裁剪步骤，直接进行训练。

Welcome to MMRotate’s documentation! — mmrotate 文档https://mmrotate.readthedocs.io/zh_CN/latest/