登陆

计算机视觉方向简介(一) 从全景图恢复三维结构

zhunnuan 2019-09-11 12人围观 ,发现0个评论 三维 全景

  2017年初,整个全景相机产业经历了一轮小爆发。除了像Insta 360、德图等几家创业公司外,小米、努比亚等几家传统手机厂商在2017年4月份也相继发布了自己的消费级全景相机,紧接着,Facebook、Google互联网巨头也相继发布了自己的第2代专业级全景相机。详情参考《全景相机哪家强?》。到目前为止,市面上已有几十种消费级全景相机产品。全景相机的价格也逐渐趋向平民化。

  全景相机硬件在快速发展,但是拍摄的全景图除了传统的自拍、VR影视制作外,还缺乏更多实用的应用场景。本文介绍的就是全景图在室内三维结构方面的应用:用单张室内全景图来对室内场景进行三维结构恢复。

  (a) 是输入的室内全景图。可以从互联网上下载或者自己使用全景相机拍摄。

  (b) 从全景图中提取的线段。红绿蓝不同颜色线段表示该线段属于不同的三维空间坐标轴方向。

  (c) 全景图经过超像素过分割的结果。图中纯红色部分表示水平方向的平面,如地面或者天花板;条纹状的红色区域表示垂直的平面,如墙壁。

  (e) 由线段(黑色线条)和超像素面片重建的室内三维结构(两个不同视角)。

  算法的核心是构建一个约束图结构,图的顶点由不同自由度的有向线段和超像素构成,而它们之间的几何关系构成约束图的边。通过迭代优化约束图结构可以推断出全景图对应的深度图,然后根据深度图信息将线段和超像素面进行空间重建从而得到室内的三维结构。

  从视觉效果来看,该算法在室内环境简单(如曼哈顿结构、障碍物少,墙壁边界明显)的场景下效果还不错,如下:

  但是在某些复杂室内环境下,很容易受到室内物体的误导,比如长沙发大面积遮挡住了墙壁和地面的分界线,比如墙壁和地面颜色接近导致分界线不明显,比如室内墙壁的大幅的挂画会被误认为是门外场景。部分恢复失败的例子如下图所示:

  作者提供了C++代码,在配置为Intel Core i5 CPU (3.1/3.3GHz)的电脑上,一张全景图推断出室内三维结构(不包括预处理步骤)时间需要1分钟。

  注:本文首发于微信公众号:计算机视觉life。原创不易,转载请注明来源,侵权必究。

  有什么用?全景相机(详见《5分钟了解全景相机》)现在在日常生活中已经比较常见,不同的全景相机外观、性能、价格等差别还是挺大的(详见《全景相机哪家强?》)。消费级全景相机主要用于生活自拍、个人直播等,而...博文来自:electech6的博客

  [] 本文由中国科学院自动化研究所胡占义研究员撰写,对计算机视觉40多年的发展历程进行了简要总结,包括:...博文来自:xiangz_csdn的博客

  本文首发于公众号:计算机视觉life。原文链接点这里有什么用?室内场景的稠密三维重建目前是一个非常热的研究领域,其目的是使用消费级相机(本文特指深度相机)对室内场景进行扫描,自动生成一个精确完整的三维...博文来自:electech6的博客

  因为这篇公式和图比较多,所以笔者以贴图像的形式来,附上最终的结果图。如果你需要笔者的代码,可以发邮件或者去github,笔者后续会贴上github链接。1、两者之间的关系摄影测量是研究被摄物体的形状、...博文来自:大橙子的博客

  最近做了一个全景图片平面映射的工作,就是将一个360度的全景球面照片映射到一个...博文来自:N的专栏

  SLAM的前世我之前从本科到研究生,一直在导航与定位领域学习,一开始偏重于高精度的惯性导航、卫星导航、星光制导及其组合导航。出于对实现无源导航的执念,我慢慢开始研究视觉导航中的SLAM方向,并与传统的...博文来自:jaccen的专栏

  最近发现,看过的文章,没几天就忘了,于是开始写点东西记录一下,所学习过的算法。废话不多说,今天看了这篇文献“RectanglingPanoramicImagesviaWarping”,所以做一下记录。...博文来自:hjimce的专栏

  点云模型与三维信息三维图像是一种特殊的信息表达形式,其特征是表达的空间中三个维度的数据。和二维图像相比,三维图像借助第三个维度的信息,可以实现天然的物体-背景解耦。除此之外,对于视觉测量来说,物...博文来自:weixin_34096182的博客

  Spinimage是基于点云空间分布的最经典的特征描述方法。按照前篇博文所言,对于三维空间分布的点云匹配,也是有特征空间、相似性度量、搜索策略等要素,就特征空间而言,Spinimage就是基于点云分...博文来自:工作笔记

  资源1:16篇系列:资源2:三维计算机视觉(一)--点云处理综述-CSDN博客三维计算机视觉...博文来自:女王の专属领地

  本资源为国防工业出版社的《三维计算机视觉技术和算法导论》中文第一版的PDF,372页内容完整,带书签 。 【作者】(波)赛干内克,(英)希伯特著 【丛书名】高新科技译丛 【页 数】 372 【出版项下载

  原文地址:点云分割点云分割可谓点云处理的精髓,也是三维图像相对二维图像最大优势的体现。点云分割的目...博文来自:weixin_38160138的博客

  RCNN是从图像中检测物体位置的方法,严格来讲不属于三维计算机视觉。但是这种方法却又非常非常重要,对三维物体的检测非常有启发,所以在这里做个总结。1、RCNN-theoriginalidea—...博文来自:weixin_34217711的博客

  前言1、简单聊聊:在我脑海中我能通过这些年听到的技术名词来感受到技术的更新及趋势,这种技术发展有时候我觉得连关注的脚步都赶不上。简单回顾看看,从我能听到的技术名词来感受,最开始耳闻比较多「云计算」这玩...博文来自:weixin_33691598的博客

  文章首发于微信公众号《有三AI》【AI白身境】一文览尽计算机视觉研究方向今天是新专栏《AI白身境》的第10篇,所谓白身,就是什么都不会,还没有进入角色。相信看了前面的几篇文章后很多朋友已经等不及快速入...博文来自:hacker_long的专栏

  计算机视觉源于香港科技大学教授,ICCV2011主席,IEEEFellow权龙的演讲,其中包含计算机视觉源起、变迁与发展与最新进展博文来自:m0_37824471的博客

  翻译江舟   校对Lamaric   整理MY  来源AI研习社随着AR/VR技术和自动驾驶汽车技术的发展,3D视觉问题变得越来......博文来自:机器学习算法与Python学习

  超分辨率技术(Super-Resolution)是指从观测到的低分辨率图像重建出相应的高分辨率图像,在监控设备、卫星图像和医学影像等领域都有重要的应用价值。SR可分为两类:从多张低分辨率图像重建出高分...博文来自:暮日落流年的博客

  版权声明:原创作品,欢迎转载,但转载请以超链接形式注明文章来源、作者信息和本声明,否则将追究法律责任。目前市面上的VR全景多是二维,没有深度感,若真想拥有身临其境般...博文来自:PlanckScale1729

  人工智能系列图谱:八大热点公司以及九大应用场景博文来自:xiangz_csdn的博客

  计算机视觉主要分为四个步骤:图像获取、图像校正、立体匹配和三维重建。其中,立体匹配的目的是在两个或多个对应同一场景的图像中找到匹配点,生成视差图。视差图可以通过一些简单的几何关系转换成深度图,用于三维...博文来自:zzz的博客

  PPF机器人视觉中有一项重要人物就是从场景中提取物体的位置,姿态。图像处理算法借助DeepLearning的东风已经在图像的物体标记领域耍的飞起了。而从三维场景中提取物体还有待研究。目前已有的思路是先...博文来自:工作笔记

  随着增强现实,家务机器人等应用的普及,室内场景重建研究正在得到越来越广泛的关注。与传统底层密集重建方法不同,讲者的研究集中在分析重建场景中的高层结构化信息。在本次AI研习社大讲堂上,来自圣路易斯华盛顿...博文来自:weixin_33895016的博客

  matlab图像处理:平面卫星图转换成立体球形图过年期间回老家,一跟亲戚朋友们说起是搞计算机的,各种好奇的眼光就投过来了,“会手机贴膜不?”“正好我家电脑坏了,可以帮我看看么?”“”有好气的也有好笑的...博文来自:的专栏

  这里三维重建,输入的是断层图像切片,节选于自己毕业设计,文末贴出一些关键代码。三维重建的方法大概有两种:直接将体素投影到计算机显示平面的方法被称为体绘制(VolumeRendering),也可以被称为...博文来自:bizer_csdn的专栏

  计算机视觉入门系列(一)综述自大二下学期以来,学习计算机视觉及机器学习方面的各种课程和论文,也亲身参与了一些项目,回想起来求学过程中难免走了不少弯路和坎坷,至今方才敢说堪堪入门。因此准备写一个计算机视...博文来自:Computer Vision

  有什么用?深度图在计算机视觉中有非常广泛的应用,比如前背景分割(用于背景虚化、美颜、重对焦等)、三维重建(用于机器人导航、3D打印、视效娱乐等)。目前能够直接快速获得深度图的方法就是使用深度相机,不同...博文来自:electech6的博客

  申明:本文非笔者原创,原文转载自:‘sblog 最近一直在up...博文来自:计算机视觉小菜鸟的专栏

  新的标定工具箱:不需要先验知识的相机或镜像参数和我们只保持的灵活性必须为每个校准网格选择4分(我们不需要单独选择每个角落)。包含投影模型的函数(和雅克比)是可用的在Matlab分别作为一个c++类相关...博文来自:开源节流

  感兴趣的科研方向有:稀疏表达- 物体识别-物体检测-场景理解 -事件检测计算机视觉与其他学科之间的关系:常见的计算机视觉应用有:控制过程(如工业机器人、自动驾驶)检测事件(如视频监控)组织信息...博文来自:Experience, Summaries and News

  关键点又称为感兴趣的点,是低层次视觉通往高层次视觉的捷径,抑或是高层次感知对低层次处理手段的妥协。1.关键点,线,面关键点=特征点;关键线=边缘;关键面=foreground;上述三个...博文来自:工作笔记

  三维重建技术通过深度数据获取、预处理、点云配准与融合、生成表面等过程,把真实场景刻画成符合计算机逻辑表达的数学模型。这种模型可以对如文物保护、游戏开发、建筑设计、临床医学等研究起到辅助的作用。1.1研...博文来自:xs1997的博客

  图像处理(一)图像变形(1)矩形全景图像还原-Siggraph2014转载自:最近发现,看过的文...博文来自:的博客

  在今年的神经网络顶级会议NIPS2016上,深度学习三大牛之一的YannLecun教授给出了一个关于机器学习中的有监督学习、无监督学习和增强学习的一个有趣的比喻,他说:如果把智能(Intelligen...博文来自:u012507022的博客

  原3.2.0-dev 目标在本教程中,您将学习如何...博文来自:开源节流

  以三维GIS平台为载体构建的智慧城市三维GIS可视化平台,包括城市总体规划、区域规划、区域资源、智慧管理功能。充分发挥三维GIS平台的数据叠加能力、可视化展示能力、三维空间分析能力,将业务管理、物联网...博文来自:GISMaster

  MVS——multiviewsystem从多视图的密集重建(1)SFM的重建成果是稀疏三维点云,为了进入更加深刻的领域,获得更好的结果,我们进入到MVS(1)如何理解密集点云的生成原理MVS是生成...博文来自:的博客

  作业要求:    1、将多张图片合并拼接成一张全景图(看下面效果图)    2、尽量用C/C++(老师说用matlab会给很低的分_(:зゝ∠)_,所以下面的代码全部都用C++来写) 完整代码见:ht...博文来自:MokHoYin的博客

  1、opencv标定法原文来源 OpenCV  在这里我只介绍...博文来自:放飞梦想,展望未来

  3D建模的软件N多,而基于照片的快速建模软件并不多,123DCatch算是很赞的一个,不需要任何技术背景便可轻松创建3D模型,但其是个完全的黑匣子,如何从照片一步步重建出3D模型的?VisualSFM...博文来自:PlanckScale1729

  首先,3DSC特征是在2DSC的基础上扩展的,因此,先介绍2DSC。2D ShapeContext形状上下文特征是一种很流行的形状描述子,多用于形状匹配,目标识别,它采用一种基于形状轮廓的特征描述方法...博文来自:工作笔记

  计算机视觉的完整链条:从成像到早期视觉再到识别理解(转)编者按:本文作者SenceTime(商汤科技)CEO徐立,文章内容整理自4月20日由将门举办的“计算机视觉”主题技术专家微信群分享嘉宾实录。文章...博文来自:SQ更上一层楼穷千里目

  来源:人工智能是人类一个非常美好的梦想,跟星际漫游和长生不老一样。我们想制造出一...博文来自:weixin_40020760的博客

  ming282828:最开始提取的是初级特征,越到后面提取的特征越高级,还包含语义特征

  hhhhwb:博主,咨询你个问题。 我也使用了上述数据集,使用ground_truth中的数据作为变换矩阵(都投影到世界坐标系),发现点云融合误差挺大的;若以第一帧为ref,效果跟投影到世界坐标系的效果一样。 请问这是什么原因? 数据集的问题吗还是选帧的问题 ? 你给的数据挺好的(camera位姿来自groundtruth 吗?), 我使用了你发的数据集验证了自己的代码没有错误,效果跟你博客中的图一样。

请关注微信公众号
微信二维码
不容错过
Powered By WWW.ZHUNNUAN.CN