Ubuntu16.04使用OpenMVG+OpenMVS

Posted on | In

在之前的三维重建系统相关文章中，我先后尝试使用了Bundler/PMVS-CMVS/Theia/Meshlab等重建工具，并采用Bundler+PMVS-CMVS重建管线作为实现端到端系统的核心方法。

存在的几个主要缺陷有：

  • 未进行表面重建+纹理映射步骤，没有实现完整的重建过程。
  • 使用的重建方法较老，源已很久未更新和维护。
  • 支持的输入有很大局限性。
  • 其它未列出的小问题..

考虑到以上种种问题，为了后续能让三维重建系统的研究工作更加接近state of art，只好放弃原来使用的系统，改用更加完善的系统作为优化和研究的重心，也就是本文要介绍的OpenMVG+OpenMVS。

从下载源码，安装依赖，编译，运行样例，构造完整流程脚本和测试，整个过程差不多花了一周时间。本文会梳理一些坑，并在最后给出这两个库的重建效果。

项目地址

OpenMVG OpenMVS Meshlab

之前整理过一篇对比各个重建系统功能的文章（链接），里面简单介绍了OpenMVG和OpenMVS在整个三维重建管线中能够完成的不同功能。

常用的多视图三维重建管线：Structure from Motion(SfM) -> Multi-View Stereo(MVS) -> Surface Generation(SG) -> Texture Mapping(TM)

实际使用后发现，链接文章里的参考图片列出的OpenMVG和OpenMVS功能中有个细节错误：OpenMVG完成的步骤仅限于SfM，后续MVS/SG和TM都由OpenMVS实现。

为了更容易照顾到旧环境，之前使用的操作系统一直是Ubuntu14.04。但使用OpenMVG和OpenMVS需要的依赖库更适合用16.04来安装（比如GLFW3，Ubuntu14.04默认的apt-get安装会使用GLFW2），且OpenMVS的官方编译说明文档也用16.04作为环境。于是再次忍痛备份+卸载虚拟机，并使用16.04版本的镜像来安装新系统。

Meshlab则是一款非常方便的点云/网格浏览器，在本项目中用于查看模型的生成效果。

用了几天，似乎16.04和14.04在操作习惯上没什么差别

Linux编译

编译如同炼丹，你永远不知道什么时候会卡在什么位置。

OpenMVG

OpenMVG的编译基本上参考官方文档，比较顺利的通过了。

如需使用OpenMVG+PMVS-CMVS管线，可参考这篇文章。

OpenMVS

照例先上官方文档。

这个库的坑就比OpenMVG多了不少，列出几个坑。

  • main_path

在官方文档的第三步，会有一句指令：

main_path=`pwd`

一开始也没在意就照做了，后来发现这个值在编译后面某个依赖库(VCGLib)的时候是要用到的！

所以这个main_path应该填写为vcglib文件夹所在的目录，便于后面编译。

  • USE_CUDA

因为我的主机（虚拟机的宿主机）不带NVIDIA的GPU，所以用不了CUDA，这个地方需要在openMVS目录下找到CmakeLists.txt文件，找到CUDA开关，设置为OFF：

SET(OpenMVS_USE_CUDA OFF CACHE BOOL "Enable CUDA library")
  • boost

眼看着编译基本ok了，到了百分之七八十的时候就崩。检查不出原因。

最后在issue列表里反复找解决方案，在试过若干种解决策略后，一条不起眼的评论引起了我的注意：（参见Github issue）

说是要给boost库升级到1.63。

然后照着这份指南更新了boost，居然就，编译通过了，还正好是在我准备收拾东西离开实验室的时候。冲着这评论反手就是一个赞。

所以编译这个东西..在现在的我看来就是玄学，换台电脑/换个系统/换个环境，甚至偶尔网络断那么一分钟，都可能崩。

以上几个坑全当给后来人铺路吧。

运行效果

OpenMVG的初步使用可以参考上文编译部分给出的指南，对SfM过程的简单梳理可以参考这篇文章。

在获得OpenMVG的输出后，OpenMVS的用法可以直接套用官方的Usage，第一遍还是可以一步步实现一下，便于理解整个管线，后面就可以直接手写脚本来实现整个过程了。

目前在官方提供的数据集上运行后，纹理信息没有正常显示，但用另一个室外建筑的数据集试运行后，似乎没有太大问题。以下两图分别是官方数据集和Pozzoveggiani数据集上的运行效果，SfM方法均为增量式（Incremental）。

运行时间

配置：VMware虚拟机，Ubuntu16.04系统，分配内存8G，4核i7处理器，无GPU代码。

样例数据共11张图，分辨率为2832*2128，相机参数已知。由于数据质量较高，可用全局式SfM（Global SfM）重建，约12分钟完成全部流程，参数全为默认值。

时间占比：稠密点云构建最为为耗时，大约7分钟完成，表面重建和纹理映射各用两分钟左右。

Pozzoveggiani数据集共54张图，分辨率1024*768，相机参数未知。采用AKAZE_FLOAT作为特征提取方法，精度设置为HIGH，最近邻搜索方法设置为ANNL2，网格提取（简化）步骤的resolution-level设为4，其余参数保持不变。

使用增量式SfM方法得到重建结果，共耗时约30分钟。

全流程脚本

下面的脚本用于运行OpenMVG和OpenMVS进行全部重建，调用增量式SfM方法。（如需使用请修改头部全局变量）

#!/bin/bash
# Mvgmvs_incremental.sh
#   copyright (c) 2018 Lhp

IMAGE_PATH='/path-to-images'
CAMERA_SENSOR_WIDTH_DIRECTORY="/path-to-openMVG/src/openMVG/exif/sensor_width_database"
OPENMVG_SFM_PATH='/path-to-openMVG_build/software/SfM'
OPENMVG_BIN_PATH='/path-to-openMVG_build/Linux-x86_64-RELEASE'
OPENMVG_OUT_PATH=$IMAGE_PATH/out
MATCHES_DIR=$OPENMVG_OUT_PATH/matches
REC_DIR=$OPENMVG_OUT_PATH/reconstruction_incremental
OPENMVS_BIN_PATH='/path-to-openMVS_build/bin'
# FOCAL_LENGTH=1228.8

echo "--- Reconstruction Begin ---"
cd $IMAGE_PATH && mkdir out
cd $OPENMVG_OUT_PATH && mkdir matches reconstruction_incremental
cd
echo "--- OpenMVG Intrinsics analysis 1/12 ---"
# $OPENMVG_BIN_PATH/openMVG_main_SfMInit_ImageListing -i $IMAGE_PATH -f $FOCAL_LENGTH -o $MATCHES_DIR
$OPENMVG_BIN_PATH/openMVG_main_SfMInit_ImageListing -i $IMAGE_PATH -o $MATCHES_DIR -d $CAMERA_SENSOR_WIDTH_DIRECTORY/sensor_width_camera_database.txt

echo "--- OpenMVG Compute features 2/12 ---"
# $OPENMVG_BIN_PATH/openMVG_main_ComputeFeatures -i $MATCHES_DIR/sfm_data.json -o $MATCHES_DIR -m AKAZE_FLOAT -p HIGH
$OPENMVG_BIN_PATH/openMVG_main_ComputeFeatures -i $MATCHES_DIR/sfm_data.json -o $MATCHES_DIR

echo "--- OpenMVG Compute Matches 3/12 ---"
$OPENMVG_BIN_PATH/openMVG_main_ComputeMatches -i $MATCHES_DIR/sfm_data.json -o $MATCHES_DIR
# $OPENMVG_BIN_PATH/openMVG_main_ComputeMatches -i $MATCHES_DIR/sfm_data.json -o $MATCHES_DIR -n ANNL2

echo "--- OpenMVG Do Incremental reconstruction 4/12 ---"
$OPENMVG_BIN_PATH/openMVG_main_IncrementalSfM -i $MATCHES_DIR/sfm_data.json -m $MATCHES_DIR -o $REC_DIR

echo "--- OpenMVG Colorize Structure 5/12 ---"
$OPENMVG_BIN_PATH/openMVG_main_ComputeSfM_DataColor -i $REC_DIR/sfm_data.bin -o $REC_DIR colorized.ply

echo "--- OpenMVG Structure from Known Poses (robust triangulation) 6/12 ---"
$OPENMVG_BIN_PATH/openMVG_main_ComputeStructureFromKnownPoses -i $REC_DIR/sfm_data.bin -m $MATCHES_DIR -f $MATCHES_DIR matches.f.bin -o $REC_DIR robust.bin

echo "--- OpenMVG Compute SfM Data Color 7/12 ---"
$OPENMVG_BIN_PATH/openMVG_main_ComputeSfM_DataColor -i $REC_DIR/robust.bin -o $REC_DIR robust_colorized.ply

echo "--- OpenMVG to OpenMVS 8/12 ---"
cd $OPENMVG_OUT_PATH/reconstruction_incremental
$OPENMVG_BIN_PATH/openMVG_main_openMVG2openMVS -i sfm_data.bin -o scene.mvs

echo "--- OpenMVS: Dense Point-Cloud Reconstruction 9/12 ---"
$OPENMVS_BIN_PATH/DensifyPointCloud scene.mvs

echo "--- OpenMVS: Rough Mesh Reconstruction 10/12 ---"
$OPENMVS_BIN_PATH/ReconstructMesh scene_dense.mvs
# $OPENMVS_BIN_PATH/ReconstructMesh -d 4 scene_dense.mvs

echo "--- OpenMVS: Mesh Refinement 11/12 ---"
$OPENMVS_BIN_PATH/RefineMesh --resolution-level=4 scene_mesh.mvs
# $OPENMVS_BIN_PATH/RefineMesh scene_mesh.mvs

echo "--- OpenMVS: Mesh Texturing 12/12 ---"
$OPENMVS_BIN_PATH/TextureMesh scene_dense_mesh.mvs
cd

echo "--- Done ---"

相关参数

对脚本中的部分参数作些说明：

  • -f $FOCAL_LENGTH

在第一步，如果图像的EXIF信息缺失或相机型号不在数据库列表中，则需要手动设置焦距，粗略的计算方法为：图像长边值乘以1.2，比如1024*768的图像数据集，FOCAL_LENGTH=1228.8

  • -m AKAZE_FLOAT -p HIGH

在第二步，-m用于指定特征提取方法，默认为SIFT（不同特征提取方法之间的差异待调研），-p用于指定提取的精细度（分为NORMAL/HIGH/ULTRA，默认为NORMAL），程度越高耗费时间越长，对应重建的精细度也越高。由于图像本身内容细节有差别，这里的设置也不是越高越好。通常对特征较少的图像需要用更高的提取精度。例如针对Computer Vision Group - Faculty of Informatics - Technical University of Munich提供的数据集，我尝试重建其中的bird（21张，分辨率1024*768），设置到ULTRA精度明显获得了更好的效果，下图分别是HIGH和ULTRA的效果对比，重建时间分别为2分钟和8分钟。

  • -n ANNL2

在第三步，用于指定最近邻搜索的方法（不同搜索方法的差异待调研）。

  • –resolution-level=4

在第11步，这个参数的输入是为了降低计算成本，默认会更为耗时。

  • 全局SfM

在第3步结尾添加-g e，将第4步调用的程序改为openMVG_main_GlobalSfM，并在第6步将matches.f.bin修改为matches.e.bin。对于小型非专业数据集，通常采用增量式SfM效果会更好。

小结

当玩具鸟被重建出来后，每一根羽毛都看得清清楚楚，就知道这几天的努力都没有白费，换系统/换管线/调参数试错的代价绝对是值得的。

在使用OpenMVG的过程中翻到了Jiang Fan同学博客上半年前的笔记，并获得一些交流，在此一并感谢。

三维重建是个深坑，希望这些整理的过程能够带给自己一些新的思考，能够多多少少排除一些「坑」。文中不足之处，欢迎同行和朋友们讨论交流。