清华大学杨兴华,乔飞等 | 通过“感算共融”架构打破智能感知应用的能量效率壁垒

研究意义

近年来，智能感知应用在人们的生活中扮演着越来越重要的角色。然而，随着智能设备的普及和应用场景的增加，传统的感知架构已经无法满足高能效、低成本和高精度的要求。因此，如何提高智能感知应用的能量效率成为了当前的研究热点。针对这一问题，我们提出了“感知共融”（Sensing with Computing）架构。该架构将感知和计算紧密结合，通过智能的数据处理和优化算法，实现了在保证高精度的同时，最大程度地降低能量消耗。该架构的意义在于，它为智能感知应用提供了一种全新的解决方案。传统的感知架构通常需要大量的能量来完成数据采集、处理和传输等操作，而“感知共融”架构则通过充分利用感知和计算之间的相互关系，实现了能量的高效利用。因此，这种架构不仅可以提高智能感知应用的性能和精度，同时也可以降低能源消耗，具有很高的应用价值。

本文工作

随着人工智能和物联网技术的发展，智能物联网(iIoT)目前正在普及。设计和实现具有持续感知能力的综合物联网节点对于实现各种智能终端设备至关重要，这也将对减少功耗、提高实时性能和增强物联网系统的安全性/隐私性至关重要。本工作提出了“感算共融”架构及其用于智能感知应用的芯片设计，该设计支持多模式感知信号处理以及多维扩展能力。特别是，我们探讨了感知信号处理的模拟/混合信号电路设计和算法硬件代码设计方法，并研究了新型传感器的多模式集成及其接口技术。

本文的创新点如下：

（1）提出了“感算共融”这一低功耗高性能计算架构。

（2）“近传感”+“存算一体”的混合信号处理电路设计创新，通过传感器模拟信号输出与存算一体处理器模拟信号输入的紧密耦合。

（3）混合信号域处理的软硬件联合优化方法创新

图1 感算共融芯片：融合了CMOS图像传感器，数模混合计算和二值神经网络

实验结果

本工作提出了一种创新的架构，将感知和计算处理相结合，将乘和累加（MAC）操作整合到图像传感器中，实现智能视觉感知的低功耗设计。我们的电路设计将相关双重采样的特征直接整合到MAC操作中，有效消除了与从光电流到像素值的数据转换相关的功耗。

所设计的电路系统不是发送原始图像，而是直接将第一层二进制激活传输到二值化神经网络（BNN）处理器，实现了粗略和简单的分类。当检测到感兴趣的物体时，传感器切换到传感器模式，作为传统的快门CMOS图像传感器（CIS）工作，并将原始图像发送到全精度CNN处理器进行细粒度的识别或分割。为了证明方法的可行性，我们制作了一个4x4阵列的原型芯片，如图1所示，测量结果表明我们的芯片设计可以以高达1000帧每秒（fps）的帧率运行，实现了惊人的能效，达到每瓦1.32万亿次操作（TOP/s/W），比现有技术节省了61%的能量。

Xinghua Yang, Zheyu Liu, Kechao Tang, Xunzhao Yin, Cheng Zhuo, Qi Wei & Fei Qiao. Breaking the Energy-Efficiency Barriers for Smart Sensing Applications with “Sensing with Computing” Architectures. Sci China Inf Sci

相关阅读

SCIS集成电路、光电子和量子学科文章合辑

点击下方阅读原文按钮，免费下载。