地点:mob迈博体育 >迈博虚拟体育>研究与开发>先进的技术>深度学习模型压缩


研究与开发

深度学习模型压缩

背景

为了减少随着物联网时代的到来而带来的数据爆炸性增长所带来的网络流量,需要一种AI edge技术,在数据流入网络之前,在终端(边缘)进行高速的数据处理。虽然深度学习作为一种高度精确的人工智能技术正在引起人们的关注,但是需要昂贵的硬件来处理大内存和计算成本的要求。因此,OKI专注于研发一种“模型压缩技术”,即使用于深度学习的神经网络的配置(模型)减少,也能抑制性能下降。该技术将最小化内存和计算成本需求,从而降低硬件需求,使深度学习技术的部署更容易。

特性

一种叫做通道剪枝的方法,从神经网络中去除多余的神经元,是OKI深度学习模型压缩技术的一个例子。为了执行剪枝,需要使用标准来评估构成模型的每个神经元的冗余度。虽然在主要的机器学习会议上,各种神经元的评估标准如绝对权重参数值和重构误差等被一个接一个地提出,但OKI正在根据其最新的研究开发自己的标准。例如,OKI开发了一种识别和减少低重要性神经元的方法,通过在每一层之间构建一个注意力网络来估计和学习神经元的重要性。该方法在抑制深度学习模型ResNet-50精度下降的同时,成功地减少了参数和浮点运算的数量,分别减少了90.8%和79.4%(* 1)大约1% (CIFAR-10)(* 2):图像数据集的识别基准结果)。通过这种技术,在抑制精度下降的同时,可以减少内存使用和计算成本,使得在边缘上实现高精度、高速的AI成为可能。

  • * 1残差网络(Residual Network)的缩写。残差网络是2015年由何开明设计的一种神经网络模型,它通过分层来提取高级和复杂的特征。
  • * 2一种图像数据集,通常用于标杆对象识别。

深度学习模型压缩

  • 使用注意力网络来计算组成一层的神经元的重要性
  • 减少不重要的神经元,在保持准确性的同时,大大减少计算量

深度学习模型压缩图像

这一页的顶部