机器人视觉系统是指利用计算机实现人类视觉功能，即利用计算机实现对客观三维世界的识别。70%以上的人类接收的信息来自视觉。人类视觉为人类提供了周围环境 最详细可靠的信息。

人类视觉的强大功能和完美的信息处理方法引起了智能研究人员的极大兴趣。人们希望在生物视觉的基础上研究机器人中使用的人工视觉系统，并希望机器人具有类似于人类感受环境的能力。机器人依靠各种传感器来感知外部世界的信息。就像人类一样，视觉系统为大多数机器人提供了机器人所需的外部阶段 界信息。因此，视觉系统在机器人技术中起着重要的作用。

根据视觉传感器的数量和特点，主流的移动机器人视觉系统包括单目视觉、双目立体视觉、多目视觉和全景视觉。

单目视觉，单目视觉系统只使用一个视觉传感器。在成像过程中，单目视觉系统从三维客观世界投影到ND图像，从而失去了深度信息，这是这种视觉系统的主要缺点( 然而，由于结构简单、算法成熟、计算量小，单目视觉系统已广泛应用于自主移动机器人，如目标跟踪、基于单目特征的室内定位导航等。同时，单目视觉是其他类型视觉系统的基础，如双目三维视觉、多目视觉等，都是在单目视觉系统的基础上，通过其他手段和措施来实现的。

双眼三维视觉，双眼视觉系统由两个摄像头组成，利用三角测量原理获取场景的深度信息，可重建周围场景的三维形状和位置，类似于人眼的视觉功能，原理简单。双目 视觉系统需要准确地了解两个相机之间的空间位置关系，场景环境的3D信息需要两个 只有从不同的角度拍摄同一场景的两幅图像，并进行复杂的匹配，才能准确获得相机 三维视觉系统可以更准确地恢复视觉场景的三维信息，广泛应用于移动机器人定位导航、避障和地图构建。然而，立体视觉系统的难点在于对应点匹配，这在很大程度上限制了立体视觉在机器人领域的应用前景。

多目视觉系统，多目视觉系统采用三个或三个以上的摄像头，多为三目视觉系统，主要用于解决三维视觉系统中匹配多义性的问题，提高匹配精度。莫拉维克最早研究多目视觉系统，他是“Stanford Cart“开发的视觉导航系统采用单摄像头“滑动三维视觉”，雅西达提出三维视觉系统解决相应点匹配问题，真正突破三维视觉系统的局限性，指出三维视觉系统的边界点，三元匹配精度较高，艾雅石提出了以多边形近似起伏边界段为特征的三目匹配算法，并应用于移动机器人，取得了良好的效果。三目视觉系统的优点是充分利用第三台相机的信息，减少错误匹配，解决双目视觉系统匹配的多义性，提高定位精度，但三目视觉系统应合理放置三台相机的相对位置，其结构配置比双目视觉系统更麻烦，而且匹配算法更复杂 消耗更多的时间，实时性更差。

全景视觉，全景视觉系统是一个多方向成像系统，具有较大的视野，可达到360度，这是其他传统镜头无法比拟的。全景视觉系统可以通过图像拼写或折射光学元件来实现。图像拼接方法使用单个或多个相机旋转，大角度扫描场景，在不同方向获取连续的多帧图像，然后使用拼接技术获得全景图像。折射全景视觉系统由CCD相机和折射光学元件组成。利用反射镜成像原理，可观察360度场景，成像速度快，能满足实时要求，具有非常重要的应用前景，可应用于机器人导航。本质上，全景视觉系统也是一种单目视觉系统，无法获得场景的深度信息。另一个特点是图像分辨率低，图像畸变大，影响图像处理的稳定性和精度。在图像处理过程中，首先需要根据成像模型对畸变图像进行校正，这不仅会影响视觉系统的实时性，还会造成信息损失。此外，这种视觉系统对全景反射镜的加工精度有很大的要求。如果双曲反射镜的精度不能满足要求，理想模型的使用将对图像校正有很大的偏差。

混合视觉系统和混合视觉系统吸收了各种视觉系统的优点。复合视觉系统由两个或两个以上的视觉系统组成，主要采用单目视觉系统或双目视觉系统，并配备其他视觉系统。全景视觉系统由球反射系统组成，全景视觉系统提供大视角环境信息、三维视觉系统和激光测距仪检测障碍物，清华大学朱志刚使用摄像机开发多尺度视觉传感系统POST，实现双眼、全方位环视和时代全景成像，为机器人提供导航。全景视觉系统具有全景视觉系统视觉范围大、双目视觉系统精度高的优点，但该系统配置复杂，成本高。

ps 图灵课堂老师从近一百套最新一线互联网公司面试题中精选而出，涵盖Java架构面试 所有技术栈，包括JVM，Mysql，并发，Spring，Redis，MQ，Zookeeper，Netty， Dubbo，Spring Boot，Spring Cloud，数据结构与算法，设计模式等相关技术领域的大 厂面试题及详解。 详情咨询客服获取全套面经试题。