Camera Image Processing on ESP32 Microcontroller with Help of Convolutional Neural Network

Abstract

This paper analyzes a common ESP32 microcontroller with a built-in camera for image classification tasks using a convolutional neural network. ESP32 is commonly used in IoT devices to read data and control sensors, so its computing power is not significant, which has a positive effect on the cost of the device. The prevalence of ultra-low power embedded devices such as ESP32 will allow the widespread use of artificial intelligence built-in IoT devices. The duration of photographing and photo processing is obtained in the paper, as this can be a bottleneck of the microcontroller, especially together with machine learning algorithms. Deployed convolutional neural network, pre-trained on another device, MobileNet architecture on microcontroller and proved that ESP32 capacity is sufficient for simultaneous operation of both the camera and convolutional neural network.

В работе проанализирован распространенный микроконтроллер ESP32 со встроенной камерой для задач классификации изображений с использованием сверточной нейронной сети. Обычно ESP32 используется в устройствах IoT для считывания данных и управления сенсорами, поэтому его вычислительная мощность не является значительной, что положительно влияет на стоимость устройства. Распространенность встроенных устройств со сверхнизким энергопотреблением, таких как ESP32, позволит массовое распространение встроенных устройств IoT с искусственным интеллектом. В работе получена продолжительность фотографирования и обработки фотографий, поскольку это может быть узким местом микроконтроллера, особенно вместе с алгоритмами машинного обучения. Развернута сверточная нейронная сеть, предварительно обученная на другом устройстве, архитектура MobileNet на микроконтроллере и доказана, что мощностей ESP32 достаточно для одновременной работы как камеры так и сверточной нейронной сети.