它将以往仅仅用于计算数据的物联网设备升级为集成人工智能的智能设备,从而增加设备实时决策的能力。 总而言之就是使基于机器学习的智能决策在物理上更接近数据源本身。因此,嵌入式视觉下沉到端点设备,就不再仅仅是将图像或视频分解成像素,而是理解像素,理解它们的含义,并在发生特定事件时做出明智决策。
什么是嵌入式视觉?
嵌入式计算机视觉给机器赋予视觉使它们能够在机器学习和深度学习算法的支持下更好的了解环境。很多行业中都有依赖于计算机视觉的应用,它已经是黑科技中不可或缺的一员。准确地说,计算机视觉是人工智能 (AI) 领域的一部分,它使机器能够从数字多媒体信息源中提取有意义的信息,并据此采取行动或提出决策建议。计算机视觉类似于人类视觉,但两者之间仍存在一些差异。人类视觉的背后,是对所看到的各种不同东西都有理解的能力。而计算机视觉只能识别它已经被训练过的内容,同时还有一定的错误率。另外一方面,嵌入式视觉通过训练能让设备在最短的时间内做出对特定对象的识别,从而能更加高效地对海量图像进行分析。在这一方面,机器视觉优于人类视觉。
【资料图】
嵌入式视觉广泛应用于消费和工业领域的智能终端,为设备提升附加值。简单举几个例子:分析生产线上的产品质量、统计人群中的人数、识别物体、分析特定区域的内容等。
在端点设备实现嵌入式视觉应用时,设备的算力会是面临的一个挑战。但集中处理的话,从传感设备传输到云端去分析的数据量可能非常大,并且超过网络带宽。 例如,以 30 FPS(每秒帧数)运行的 1920 x 1080 摄像机可能会产生大约 190 MB/S 的数据。 除了隐私问题之外,数据从边缘到云,再从云到端点的往返势必会带来延迟。 这些限制都不利于实时应用。
物联网安全也是市场要采用和发展嵌入式视觉需要考虑的一个问题。使用智能视觉设备的一个关键隐忧是敏感图像和视频是否有被不当使用的可能性。 未经授权访问摄像头不仅侵犯隐私,而且可能导致更严重的后果。
端点设备上的人工智能视觉
Endpoint AI可以理解捕获的图像
Endpoint AI使用机器学习和深度学习来按照被训练的模式去匹配和识别
为了获得最佳性能, AI算法在终端设备上运行,而无需将数据传输到云端。数据由图像识别设备捕获,然后在同一设备中进行处理和分析。
端点设备的功耗限制仍然存在,微控制器或微处理器需要更高的效率来处理AI算法所需的大量乘累加(MAC)运算。
人工智能视觉的部署
现实世界中有无数AI视觉应用的使用场景。下面是一些例子,Renesas可以提供全面的MCU和MPU解决方案,包括必要的软件和工具,以实现快速开发。
智能门禁:
语音和人脸识别给安全门禁系统带来更多使用价值。然而实时识别,要求嵌入式系统具有非常高的算力和片上硬件加速。为了应对这一挑战,Renesas提供的MCU或MPU具有高算力,还集成了许多支持人脸和语音识别至关重要的功能,如内置H.265硬件解码、2D/3D图形加速以及内部和外部存储器上的ECC,以消除软错误并实现高速视频处理。
工业控制:
嵌入式视觉可以应用到包括安全操作、自动化、产品分类等多个场景。人工智能可以在生产过程中帮助执行多项操作,如包装和分发,确保生产过程中所有阶段的质量和安全。
交通运输:
计算机视觉也能改善交通运输服务。以自动驾驶为例,使用计算机视觉对道路上的物体进行检测和分类。它还可用于创建3D地图和估算运动轨迹。自动驾驶汽车使用摄像头和传感器收集环境信息,然后通过模式识别、特征提取和对象跟踪等视觉技术来解析数据,并做出最合适的响应。