当前位置： CompoTech China > 专题 >
机器视觉是包含图像、机械、控制、光学、传感器、模拟半导体和数字半导体等多项内容的综合技术，它具有高度的灵活性和适应能力，在大批量重复性的工业制造中，可显著提升制造效率并降低人工成本，在不适合人工操作的危险环境发挥作用，同时还能超越人类肉眼的视觉范围，根据需求“观察”到更多有用信息。
人类透过大脑和眼睛还有其他四中感知能力实现对外部的观察和理解，机器视觉也在做同样的事情，是机器学习和人工智能技术的基础。透过机器视觉搜集到的信息，进行机器学习，分辨出目标、时间地点等基本信息，再透过AI技术进行认知推理做出决策。越来越多的机器能够以更广泛、更智能的方式，直观地解译和了解外界环境，“思考”能力在快速提升。
GPU成为变机器视觉的最强大脑
伴随着计算设备的能力攀升，机器视觉的信息处理能力正变得日益强大。设计人员不断地在计算效率和计算灵活性这两个方向上寻找平衡点，CPU，FPGA、ASIC器件在机器视觉应用中扮演着最强大脑的作用。在上个世界最后的20年中，CPU为主的计算设备以年均性能提升1.5倍，CPU是机器视觉的计算力来源。但进入21世纪之后，由于工艺以及市场需求的变化，通用微处理器的性能提升速度有所下降，年均性能提升降至1.1倍，而GPU的处理能力却保持了高增长，达到了年均1.5倍的性能提升，预计到2025年，GPU的计算能力相比世纪初将提升1000倍！
GPU同时还是一个大规模并行计算引擎，可以同时在大数据（像素）集中应用相同的指令，将计算效率大幅度提升，远超通用处理器性能，正式机器视觉迫切需要的能力之一。这也是越来越多的业者开始使用GPU设备为机器视觉提供”大脑”。
资料来源 :nvidia.com
边缘端的机器视觉系统
物联网设备的大规模普及，让计算资源更加靠近机器视觉成为新的趋势。基于MCU、MPU的边缘端机器视觉成为市场热点。相比在云端处理数据，边缘端机器视觉具有很多优势：
低延迟：数据传输距离短，便于快速进行认知推理；
安全性和可靠性：没有中间环节的数据篡改危险；
成本优势：无需将数据传输到云端进行分析处理，节约了带宽和其他花费
灵活性：在满足需求的情况下，设备尺寸可以根据需要灵活调整。
通常在边缘的机器视觉处理，主要完成特定目标，这样对计算能力的要求并不高，比如在智慧锁应用中，识别正确的户主信息，就不需要将数据上传到云端来回通信。
以大联大世平推出的基于NXP产品的EdgeReady人脸识别方案为例
图:大联大世平基于i.MX RT106F开发工具包的EdgeReady人脸识别方案
EdgeReady包括i.MX RT106F MCU、运行时间库和预整合的机器学习人脸识别算法，以及相机和记忆等所有外围设备的所需驱动程序。用于认证和操作智能楼宇、工业和家庭的安全机器、设备和访问点，包括门、锁、便利设施、电梯、车库门、安全系统等。
EdgeReady方案支持了多达3000张人脸的本地存储，而且完全离线运行，无需Wi-Fi/BLE成本，消除了云端隐私问题，而且启动快速，从待机到完成人脸识别仅需0.8秒。
全局式快门技术提升机器视觉性能
图:高性能全局快门捕捉示例 (图源onsemi)
在机器视觉的图像传感器应用中，有两项不同技术：卷帘式快门（Rolling Shutter），全局式快门（Global Shutter）。卷帘式快门类似老式电视的逐行扫描技术，由于中间会有时差，所以当拍摄高速运转情况下的物体时，图像就变形，出现如上图所示的情况，其中一个原因就是过去的图像处理芯片的计算能力不足。而全局快门一次性实时捕捉所有的信号，拍摄出的效果非常清晰完整且不会变形失真。在现代工业和物流应用中，比如药品分拣应用中，全局式快门就可以进一步提升制造和运输的效率，在这两年针对COVID-19的疫苗制造和分发过程中，采用全局快门的机器视觉技术已经发挥重要作用。
当然，卷帘式快门技术并非就要彻底淘汰，在一些静态识别为主的机器视觉应用中，卷帘式快门技术可以有效控制成本。
机器视觉市场稳健快速成长
据Frost ＆ Sullivan 预计到 2022 年，全球机器视觉设备市场规模将增长到 136.2 亿美元，亚太地区将继续成为全球最大的市场，因为行业加大了对质量检验的需求。
图:MV摄像头市场亿8%的速度稳定成长 图片来源:onsemi
图形传感器作为机器视觉部分核心部件，在多个市场稳步成长。根据Yole Development的统计，机器视觉摄像头的市场容量到2023年将超过40亿美元。其中零售、物流和工业位居主导地位，而随着越来越多新兴应用的但是，机器视觉在新生市场的成长也非常可观。
现在，机器视觉在汽车、零售、物流、工业机器人以及科学研究等领域发挥着日益重要的作用。
零售企业缩短向在线商务的过渡时间
线上购物在2020年取得了巨大的飞跃，推动了电子商务的增长。2020年成为了电子商务的拐点，有关机构预计它将占全球连锁零售总额的28％。反过来，这又缩短了向在线商务过渡的时间，拉快了近三年，迫使零售商必须迅速做出调整，简化其商店、配送中心和物流工作流程，以提高生产效率。零售商在电子商务订单履行相关的盈利能力方面面临着挑战。
图:amazon的未来超市概念
机器视觉能够提供与人类能力相匹敌的识别能力，简化销售点的结帐工作。
在amazon描述的未来超市中，消费不必将采购的东西装进购物车，推到收银台进行结账，直接放进包里面就可以。商家透过顶部的机器视觉系统，自动识别货物，完成记账扣款过程。类似的应用还有在中国一些地区开始试点的无人超市。
越来越多企业加大了对智能自动化的投入，包括机器视觉技术和人工智能（AI），以及机器学习（ML）和规范性分析解决方案。零售自动化（从商店到仓储运营和配送中心的整个供应链）的加速发展，背后的驱动力就是直接交付至消费者的需求，且按需交付方式的需求日益增长，使包裹运输公司在传统非高峰时段依然处于高峰运营状态。
机器视觉为精准农业提供保障
在农业应用中，机器视觉参与了土地的耕种收割、自动挤奶以及农田的光谱跟踪，为现代农业提升产能提供了可靠保障。
在英国，希尔索农机研究所研制出了一款高速采摘蘑菇机器人，它通过机器视觉来识别蘑菇的数量和质量，用红外线测距仪测定蘑菇的高度，再由真空吸柄根据计算得出的具体情况确定需要弯曲和扭转的力度，自动完成蘑菇采摘。
在日本，农场利用TensorFlow建立了自动分拣存储系统，可以自动分拣和存储黄瓜。
图:借助机器视觉分拣水果 图片来源:onsemi
借助NVIDIA的GPU，制造商E-Con Systmes的智能分拣系统，TensorRT 版本的MobileNetV2 在6个类别（苹果、橙子、香蕉）训练卷积神经网络(CNN) ，对新鲜水果的识别度已经达到97%。
此外，机器视觉已介入育种、施肥等多个农作物生长环节，为精准农业和高度自动化的农业生产提供技术保障。
机器视觉在工业领域进一步升级
机器视觉擅长检验分析和异常检测技术，这种技术可以准确验证制造产品的质量和一致性，并具有高度可重复性，因而在工业中得到广泛使用。
图:各种生产在线的机器视觉应用 图片来源：cognex.com
机器视觉正在变得更具成本效益，能够覆盖更多任务业领域，同时添加了增强功能，例如针对更复杂的应用程序检验的实时3D图像处理，物体自动识别、数据捕获（AIDC）、体积和距离测量、运动分析、智能运输系统以及文档扫描（物流码管理）等众多技术和应用。
借助大量机器视觉新技术，制造业快速向自动化、智能化转型升级，“黑灯工厂”变得越来越多。比如，生产小米手机的智能无人工厂，所有工作均由机器人完成，从生产管理、机械加工到包装储运实现了全程自动化、无人黑灯生产。在无人化工厂的车间里，由工业移动机器人—— 自动导引车（AGV）完成搬运和上下料等工作。它可以按照设置好的导引路径来行驶，按照路线往返于材料存放地和目的地之间，自动进行物料运输。机器人手臂可以完成上下料以及各种精细操作，同时质量检测也由机器视觉系统来完成，整个过程无需人工参与。
图:安富利设计的自动导引车（AGV） 图片来源: 安富利
图:针对PCB板的缺陷检测 图片来源:Keyence.com
在工业制造里，劳动生产率是降低成本的主要因素，在固定单位时间内所能检测的线路板面积越大，生产效率就会越高。相对图像传感器来讲，单位时间内收集信息量越大，生产效率就越高。
图:移动设备屏幕检测 图片来源:onsemi
手机平板计算机在制造过程中需要对屏幕质量进行检测，平板检测是机器视觉行业中，对图像传感器最有挑战性的应用。移动设备的屏幕分辨率越来越高，从1K、2K、4K一直到8K，屏幕像素在逐渐增高。检测过程为两项：首先是暗检测，上电前主要检测一些指纹、划痕和其他物理问题；然后是上电以后的检测，特别是在OLED，加上最新的AMOLED（Active Matrix OLED）。LED是有一个亮板在后面作为发光源，而OLED，特别是AMOLED，它的每个像素都是一个单独发光源。像素和像素之间发光的强度和色彩的均匀度都要能够很准确地侦测出来，这就对机器视觉的图像传感器提出了非常高的要求。过去检测LED面板上的1颗像素，对应需要9颗像素（3×3），OLED则对应需要16颗（4×4），甚至25颗（5×5）像素。如今的图像传感器已经超过了2亿像素。
机器视觉在疫情中发挥巨大作用
在COVID-19疫情阻击战中，从工业制造到日常生活，机器视觉技术被大量使用，在多个领域发挥作用。
智慧工业：高度自动化的防护用品生产
在生产防护用品时，透过机器视觉技术实现引导、定位、识别、检测自动化生产流程。比如在生产口罩时，利用机器视觉在线检测系统准确快速对口罩洁净、耳带长度/偏位、鼻梁条长度/偏位、印刷质量等进行检测，保证产品良品率及提升生产效率。
智能物流：物资智能分拣与配送
现代物流体系在不同地区实施隔离措施时发挥了重要作用，与器视觉技术提供的自动化、智能化分拣系统，让物流行业前所未有地高效且安全。机器视觉系统条形码读取、尺寸检测、形状识别等，来实现对产品的识别追踪以及物料的筛选，并最终实现全程非接触方式配送至消费者手中。
圖:物流机器人送货上门 圖片來源 :amazon.com
在医院和疫区，集成无人驾驶技术的AI机器人，其能够自动识别躲避人员或障碍物，进行医疗物资配送，还可以实现体温测量、消毒、回收医疗垃圾等工作。
在疫苗供应链中，物理自动化、RFID和温度传感技术，再加上机器人技术的发展（包括与人交互和协作的协作型机器人），能够帮助完善疫苗的分发管理。比如在疫苗运输中，集成温度智能解决方案（例如斑马技术的Heatmarker和Freezemarker）能够显示疫苗或药物是否已暴露在可能影响其功效或安全性的潜在危险条件下。
智慧测温与人脸识别：非接触式多目标体温监测
体温检测成为疫情初筛的基本手段，在购物、旅游、交通、办公以及小区级防控中被广泛使用。越来越多的地方使用了红外成像测温系统，在尽量避免降低通行效率的情况下对大面积人群实施温度检测。红外成像测温系统借助机器视觉、AI与红外热成像技术，能够实现远距离、非接触式、多目标同时进行测温。
图:Rokid云镜: 工作人员只需带上随时观察到周围人群的体温状况 (图片来源:rokid.com)
汽车----全身内外都是眼睛
图:汽车的机器视觉系统越来越强 图片来源:onsemi
汽车的智慧来自对周边事物的感知和决策，因此汽车的智慧之路，也就是感知决策能力被不断被强化的技术道路。目前典型的具有机器视觉的车辆只要拥有9个图像传感器，而下一代正在开发的图像传感器已经超过12个，还有接近20个图像传感器的系统也处于研发阶段。不仅如此，这些汽车同时配备有10个雷达，其中至少2个超声波雷达，随着成本的降低，激光雷达已经在很多汽车中开始使用。
机器视觉在汽车应用的发展中主要有三个方向：
车外的人工视觉辅助：包括环视、后视，供驾驶员观看。在欧洲，一些大型卡车已经开始应用电子后视镜系统来取代传统玻璃车镜。由于欧洲市场法规规定，汽车一定要配备后视镜。但是卡车后视镜面积很大，造成较大的挡风阻力，电子后视镜系统，卡车的后视镜面积就可以被改小，并由此节约5~10%的能源。
车外机器视觉：包括ADAS、辅助驾驶、自动驾驶系统。比如在夜间，对向车道强光状况下，肉眼很难发现路上的行人，这种情况往往会导致人伤事故。借助ADAS系统，机器视觉系统则可以较早发现情况，并提醒司机，避免悲剧发生。
图:借助高动态能力的图像传感器观察到暗处的行人 图片来源:onsemi
舱内机器视觉：除了驾驶员疲劳监控，还有疾病检测、情绪/生理检测，安全气囊精准调整、人机互动（Human Machine Interaction）、虹膜识别(Iris Detection)和人脸识别等功能。人机互动，包括手势识别功能，如调整舱内温度、听广播、打电话等都可以用手势来操作。除了对驾驶员的监控，还有对乘员的监控，比如robot taxi（机器人出租车）的很多的功能都需要舱内监控，包括安全带提醒、儿童在场检测、物体检测和宠物检测等。这些都依赖汽车自身的机器视觉系统。
图:疲劳驾驶和分心导致交通事故 图片来源：ST
图:车内机器视觉系统 DMS和CMS 图片来源：ST
图:意法半导体的车内人脸识别系统 图片来源：ST
借助全局快门技术和图像处理引擎，意法半导体成功将2D图像引擎与NIR（近红外）深度设别技术结合，实现了3D人脸识别的效果，并且可以有效控制DMS或CMS系统的成本。
当今汽车的感知能力已经超过了驾驶员！驾驶员的视线范围一般只能覆盖前方180度，加上眼睛余光，可能超过200度，而智慧化的汽车已经具有360度感知能力；另外，驾驶员可能会有几毫秒的精力分散情况，而智能感知系统可以全时候地跟踪、检测和计算，这些从来不“闭眼“的机器视觉功能，可有效降低交通事故的发生，为未来更为安全的出行提供技术支撑。
