Из-за ограничений вычислительной мощности аппаратной платформы и ресурсов хранения, реализация энергоэффективной и производительной сверточной нейронной сети (CNN) на встроенных системах по-прежнему является основной задачей для инженеров по аппаратному обеспечению. В связи с этим в данной работе представлен полный дизайн гетерогенной встроенной системы на базе программируемой логики на кристалле (SoC). Дизайн использует каскадируемую структуру мультиплексирования входных данных и выполняет две независимые операции умножения и накопления в одном DSP, уменьшая обращение к внешней памяти, повышая эффективность системы и снижая энергопотребление. По сравнению с другими решениями, эффективность по энергопотреблению увеличена более чем на 38.7%. Дизайн (фреймворк) успешно развёрнут на масштабных CNN сетях на недорогих устройствах, значительно повышая энергетическую эффективность моделей. Энергетическая эффективность, достигнутая на устройстве ZYNQ XC7Z045, достигает до 102 Gops/W. Кроме того, при инференсе сверточного слоя модели VGG-16 с использованием данного фреймворка частота кадров достигает 10.9 fps, что демонстрирует высокую эффективность ускорения inference CNN в условиях ограниченной мощности.

аппаратное ускорение; сверточная нейронная сеть; FPGA; гетерогенный SoC