智能核心计划加速基于英特尔架构的车牌识别推理

本篇文章3370字，读完约8分钟

在整个智能交通系统中，车牌识别无疑是最基本的应用之一。车牌识别的应用要求从复杂背景中提取和识别静止或运动的车牌，并通过车牌提取、图像预处理、特征提取和车牌字符识别来识别汽车品牌和颜色等信息。车牌识别是自动交通控制的基本应用，其识别成功率和准确率将对交通运行效率、收费和违章处罚产生很大影响。

北京智信远东科技有限公司(以下简称智信远东)是中国领先的人工智能和解决方案提供商，专业从事人工智能算法和算法芯片的研发、智能产品和解决方案的开发和交付、智能云服务的集成，致力于加快人工智能技术在各行业的应用，提升用户体验和工作效率。为了满足车牌识别的需求，智信动态推出了一个深云车辆识别平台，能够准确识别各种车牌。此外，志新动力还推出了海外车牌识别解决方案，可以在少量车牌样本(> 1K)的情况下快速迭代，仅用2-4周时间就可以实现新的全国牌照的开发任务，综合准确率高达90%-95%。

为了进一步提高车牌识别平台的推理性能，加快海外车牌场景的算法训练速度，智信动力配备了第二代英特尔至强可扩展处理器和英特尔OpenVino的组合解决方案，并采用针对英特尔架构优化的Caffe应用，实现了数十倍的性能提升。

挑战:海外市场给车牌识别带来严峻挑战

在互联网停车领域，除了出入口的车牌识别，智信移动还在停车场引入了路边停车摄像头和停车位摄像头。与此同时，智信移动也进入了海外停车场市场，并已部署在马来西亚、印度尼西亚、泰国、新加坡、越南等地。据估计，未来三年部署的车牌识别摄像头数量将接近100万台。在国外车牌识别市场上，一个重要的特点是每个国家或地区在车牌的长宽、颜色和字符组成上有一定的差异，同一套算法不能适用于每个国家或地区。

为了在每个国家和地区训练车牌识别算法，无疑需要本地化的数据作为支持。如果我们通过了传统的车牌识别算法，我们将需要大量的车牌样本，并且需要长达几个月的时间才能将车牌识别的准确率提高到可用的水平。然而，这种速度显然不能满足快速市场竞争的需要。志新动力希望基于少量车牌样本完成快速产品部署，这要求其不断创新算法，部署更高效的基础设施平台和深度学习加速工具。

此外，车牌识别系统本身也需要深入的学习性能。据智信电源工程师计算，目前单核处理器进行汽车识别需要40毫秒。根据高峰停车期间每10秒钟一辆车的计算，深云汽车识别服务总共需要1000个4核处理器。一旦再次提供警务服务，压力将成倍增加，因此有必要实现更高效的深度学习和计算能力。

志新动力领先海外市场的算法平台

为满足海外市场对车牌识别的需求，志新动力推出了海外车牌识别解决方案。从技术上讲，国外车牌算法的实现是通过三个步骤完成的:车牌提取、字符分割和字符识别，即从复杂背景的图像中提取车牌图像，然后对提取的图像进行必要的预处理以分离出单个字符，然后提取字符的特征并与标准字符进行比较，输出待识别车牌的车牌号码。智能核心动力将针对不同的车牌类型采用不同的车牌定位和字符分割算法，以保证识别的准确性。

该方案最大的亮点是基于自主开发的车牌算法框架，能够在少量车牌样本(> 1K)的情况下快速迭代，只需2-4周即可实现新的全国车牌的开发任务，综合准确率可达90%-95%。目前，该项目已在全球20多个国家和地区大规模商业化。此外，该方案具有以下特点:

●支持20多个国家和地区的车牌识别

●适用于卡口、出入口、停车位等场景

●算法框架采用灵活的模型匹配策略和模块化设计，可以在少量样本下实现新的国家车牌的开发和实现

●该算法支持跨平台设计，满足前端摄像头和后端服务器不同方案的需求

●中国团队最初的R&D支持，问题迭代高效，项目需求响应及时

在该方案中，智信动力采用基于卷积神经网络深度学习的车型识别方法，通过MobileNet和GoogleNet等拓扑结构实现分类推理优化。志新动力对车牌识别算法进行优化后，有助于在小样本的前提下实现应用的快速开发和部署。

解决方案:基于英特尔架构加速推理性能

在基础架构方面，智能核心计划为不同国家和地区的实际应用环境引入了不同的参考方案。车牌识别的工作量可以由云数据中心或边缘设备灵活承担，可以满足用户在延迟、部署成本和网络方面的不同需求。

在服务器端，智能内核配备了第二代英特尔至强可扩展处理器和英特尔开放式Vino的组合解决方案。第二代英特尔至强可扩展处理器采用矢量神经网络指令的全新英特尔深度学习加速功能，提高了人工智能推理的性能。与上一代相比，性能有了显著提高。第二代英特尔至强可扩展处理器有助于实现从整个数据中心到边缘的全面人工智能支持。

与智能内核使用的第一代英特尔至强可扩展处理器相比，第二代英特尔至强可扩展处理器进一步提高了性能，尤其是它支持的虚拟网络接口和其他技术将推理性能提高到了一个新的水平。在一个具体的应用示例中，性能改进将允许用户部署更少的节点，支持更多的推理负载，并实现更低的总拥有成本(TCO)。

英特尔开放式Vino工具包发行版允许开发人员使用行业标准人工智能框架、标准或定制层，轻松地将深度学习推理集成到应用程序中。运行在底层英特尔至强可扩展处理器上，英特尔开放式Vino Toolkit发行版可以实现竞争的推理速度和极低的精度损失。同时，在AVX-512和MKL/MKL-DNN boost库的支持下，该解决方案还可以实现出色的计算性能。

效果:性能提升近30倍

为了验证第二代英特尔至强可扩展处理器和英特尔OpenVino在不同拓扑结构下的推理性能，智信搭建了一个测试平台，测试平台的配置如表1-2所示:

在视频图像分析的推理性能测试中，测试人员测试了在多个拓扑结构中使用公共Caffe、英特尔优化Caffe和OpenVINO的推理性能，如MobileNet、MobileNet-V2、GoogleNet和VGG-16。测试数据如图1所示。与英特尔的优化版Caffe相比，OpenVINO在移动网络中的性能提升了28.4倍。

同时，在固态硬盘和伪随机数检测推理优化的测试中(测试数据如图2所示)，与采用FP32的英特尔优化Caffe相比，采用固态硬盘-VGG、伪随机数-VGG拓扑和整数8量化的英特尔优化Caffe的性能分别提高了2.58倍和2.09倍。

未来:为车辆识别应用程序负载提供灵活高效的计算支持

除了车牌识别，基于人工智能和深度学习技术的检测推理也广泛应用于其他场景的车辆识别，并用于检测车辆的型号、颜色、大小、位置等目的。这些应用负载不仅依赖于先进的算法，还对平台的计算能力提出了一定的要求。智能核心基于云的车型识别平台可识别约1600种车型，车型信息包括:品牌、车型和年份，识别准确率超过99%。该平台还可应用于公安系统、高速公路收费等领域的车型识别。

通过与英特尔的合作，智能核心动力可以为车辆识别深度学习应用提供更加灵活的基础设施平台，如通过在数据中心结合中央处理器、图形处理器和现场可编程门阵列实现深度学习异构计算，或者在边缘端部署统一的边缘计算服务器，承担车辆和车牌识别的负载，满足用户对检测精度和速度的需求，帮助实现智能交通。

1.基于英特尔和智能内核的内部测试结果

2.测试配置:平台1–英特尔至强黄金6140处理器；基本输入输出系统的版本(包括微码版本:cat/proc/cpuinfo | grep微码–m1):se5c 620 . 86 b . 00 . 01 . 0012 . 021320180053，总内存为96 GB(6个插槽/16gb/2666 MHz)；1个英特尔960GB固态硬盘操作系统磁盘；CentOS 7.4.1708，3 . 10 . 0-957 . 10 . 1 . el7 . x86 _ 64；平台2-英特尔至强白金8260处理器；基本输入输出系统的版本(包括微码版本:cat/proc/cpuinfo | grep微码–m1):se5c 620 . 86 b . 02 . 01 . 0008 . 031920191559，总内存为96 GB(6个插槽/16gb/2666 MHz)；1个英特尔960GB固态硬盘操作系统磁盘；Ubuntu 16.04.3 LTS，4 . 10 . 0-28-通用(由英特尔和智能提供)

责任:张洋