Image depth estimation system by streaming video

Abstract

Today, the tasks of computer vision are becoming very relevant, more and more people are automating work in production due to some kind of software processes and machine devices, which can make job easier or more accurate. Based on this, it was decided to consider in detail the problem of stereo vision without using neural networks, or other more complex methods, since their use required costly methods of training, setting and controlling parameters. The main task was to create a mechanism taking into account the price and quality, due to the fact that there is no cheap analogue on the internet market, which was suitable for the task of simple recognition of 3D scenes and made it possible to analyze the environment in which it is located, namely, to find out at what distance objects are located, what is their size, and so on. In the course of the work, the method of using two web cameras was chosen, which were configured and calibrated for the task of stereo vision. The conditions of projective geometry and the relationship between the two cameras are also considered, since without this, the operation of the main algorithm of the work could not be successful at all. An algorithm and program have been created for the device to operate in streaming mode, which allows directly know the exact characteristics in LIVE video mode.

Сьогодні завдання комп’ютерного зору стають дуже актуальними, все більше людей автоматизують роботу на виробництві завдяки якимсь програмним процесам та машинним пристроям, які можуть полегшити роботу або зробити її більш точною. З цього приводу було вирішено детально розглянути проблему стереозору без використання нейронних мереж або інших більш складних методів, оскільки їх використання вимагало дорогих методів навчання, встановлення та контролю параметрів. Основним завданням було створити механізм з урахуванням ціни та якості, завдяки тому, що на Інтернет-ринку немає дешевого аналога, який був би придатним для завдання простого розпізнавання тривимірних сцен і дав можливість аналізувати середовище, в якому він знаходиться, а саме з’ясувати, на якій відстані знаходяться об’єкти, який їх розмір тощо. В ході роботи було обрано метод використання двох веб-камер, які були налаштовані та відкалібровані для завдання стерео зору. Також розглядаються умови проективної геометрії та взаємозв'язок між двома камерами, оскільки без цього робота основного алгоритму роботи взагалі не могла б бути успішною. Створено алгоритм та програму для роботи пристрою в потоковому режимі, що дозволяє безпосередньо знати точні характеристики в режимі LIVE video.