我有点麻烦了 .
它有一个相机矩阵（是的，我知道它会让事情变得更加复杂和含糊不清） .
我知道在尝试这样的事情之前我应该阅读更多内容，但是当我遇到它们时，我试图阅读有关事物的内容 .
这里收集了许多文章，代码样本和书籍 . 我错过了这个或者我做错了什么？
这是我目前的管道 .
-
从图像中提取SIFT / SURF关键点 .
-
成对匹配图像 .
_GF9_在成对匹配期间我运行"Ratio Test"以减少关键点的数量 .
- （不确定）我读到计算基本矩阵（RANSAC）并从匹配中删除异常值进一步帮助它 .
问）我是否需要这样做？它是否太多或者我应该做一些像Homography这样的事情以避免8点的堕落情况？
-
接下来，我需要选择2张图像来开始重建 .
-
我在图像对之间找到了Homography Inlier的数量 . 我按照大多数％内点的顺序迭代图像对列表 .
-
我计算基本矩阵 .
-
I "guess"一个K矩阵，用哈特利的公式计算基本矩阵 .
-
我用SVD分解这个Essential Matrix，然后验证4个解决方案 .
-
我使用了维基百科条目中的逻辑和这个python要点来实现我的检查 .
问）这是对的吗？或者我应该对这些点进行三角测量，然后确定它们是否在摄像机前面，或者它是否能够完成相同的操作？
-
如果在查找Essential Matrix时遇到问题，请跳过它并检查下一个图像对
-
设置P = [I | 0]和P1 = [R | T]，执行三角测量并将3d点存储在某些数据结构中 . 还存储P矩阵 .
-
使用大量迭代运行捆绑调整步骤以最小化错误 .
从这里变得有点朦胧，我很确定我搞砸了什么 .
-
根据观察到的最多3d点数选择要添加的下一个图像 .
-
使用PnPRasnac之类的东西从已知的3D点估计这个新图像的姿势 . 使用R＆t的值作为投影矩阵P1 = [R | t]
-
用全部三角测量这个新图像（我知道，我不需要对所有这些图像进行三角测量）到目前为止使用P矩阵进行三角测量的图像为P = PMatrices [ImageAlreadyTriangulated]和上面获得的P1 .
Q）它是否真的像使用我们使用过的P的原始值一样简单？这会将所有东西都放到相同的坐标空间吗？如上所示，三角测量点是否与从P和P1的初始值获得的系统相同，或者我是否需要在此进行某种转换？
-
从我们从三角测量中获得的点数中，仅添加我们尚未存储的那些3D点 .
-
每隔几张图像后运行一次包调整
-
返回步骤6，直到添加完所有图像 .
一般的问题：
-
即使我的相机矩阵K只是一个猜测，我应该使用undistort来获得积分吗？
-
对于捆绑调整，我'm outputting the points to a file in the Bundle Adjustment at Large (BAL) format. Should I be converting them to World Coordinate Space by R=R'＆T = -RT还是留下它们？
我知道这一定是长篇大论 . 非常感谢您的宝贵时间 ：）
2 回答
我可以推荐这篇文章; https://github.com/godenlove007/master-opencv-book/tree/master/Chapter4_StructureFromMotion
为了构建它，您将需要SSBA和PCL库作为先决条件 . SSBA构建起来非常简单，但如果您计划使用Visual Studio 2013，则PCL可能会非常棘手 . 在这种情况下，您必须从源代码构建PCL的先决条件，这需要一些时间 .
一旦你构建了这个项目，你就可以检查那个人是如何做到的并与你的想法进行比较 .
你提出的管道通常是正确的 . 3.1除外 .
2.2）正确 . RANSAC随机选取点来估计基本矩阵，并且足够强大到异常值（只要你有足够的有效匹配当然） . Homography异常值不一定是坏匹配，因此不应使用单应性来过滤匹配 .
3.1）不正确：Homography inlier是在两个视图中完美对齐的匹配，例如在两个视图之间呈现成比例或类似移动的点 . 这意味着，视图对中单应性内容的数量越多，ViewPair作为基线三角测量的种子就越好 . 该使用RANSAC估算的基本矩阵中的这两个视图的相机矩阵很可能会出现不准确的情况，并且重构将永远不会恢复 . 你想要做的是从ViewPair开始，它具有最低百分比的单应性内容，并且仍然有大量的匹配 . 不幸的是，具有最高匹配数的图像对通常也具有最高数量的单应性内容 . 这是因为通常这些对包含很少的相机移动......
3.4）我所做的是使用所有4种可能的相机矩阵模糊来尝试三角测量 . R1 | t1，R1 | t2，R2 | t1，R2 | t2
8）是的