Structural-parametric Synthesis of Capsule Neural Networks

Abstract

This work is dedicated to the structural-parametric synthesis of capsule neural networks. A methodology for structural-parametric synthesis of capsule neural networks has been developed, which includes the following algorithms: determining the most influential parameters of the capsule neural network, a hybrid machine learning algorithm. Using the hybrid algorithm, the optimal structure and values of weight coefficients are determined. The hybrid algorithm consists of a genetic algorithm and a gradient algorithm (Adam). 150 topologies of capsule neural networks were evaluated, with an average evaluation time of one generation taking 10 hours. Chromosomes and weights are stored in the generation folder. The chromosome storage format is JSON, using the jsonpickle library for writing. Also, when forming a new generation, chromosome files from previous generations are used as a "cache". If a chromosome of the same structure exists, the accuracy is assigned immediately to avoid unnecessary training of neural networks. As a result of using the hybrid algorithm, the optimal topology and parameters of the capsule neural network for classification tasks have been found.

Дану роботу присвячено структурно-параметричному синтезу капсульних нейронних мереж. Розроблено методологію структурно-параметрично синтезу капсульних нейронних яка включає наступні алгоритми: визначення найбільш впливових параметрів НМ, гібридний алгоритм машинного навчання. За допомогою гібридного алгоритму визначається оптимальна структура та значення вагових коефіцієнтів. Гібридний алгоритм складається з генетичного алгоритму та градієнтного алгоритму (Adam). було оцінено 150 топологій капсульних нейронних мереж. Середній час оцінки одного покоління складав 10 годин. Хромосоми та ваги зберігаються у папку покоління. Формат збереження хромосом – json, механізм запису бібліотека jsonpickle. Також при утворення нового покоління, файли хромосом з інших поколінь використовуються як “кеш”, якщо існує хромосома такого самого вигляду, то особині одразу присвоюється точність, для уникнення зайвих тренувань нейромереж. В результаті використання гібридного алгоритму знайдено оптимальну топологію та параметри капсульної нейронної мережі для вирішення задачі класифікації.