Modification of Semi-supervised Algorithm Based on Gaussian Random Fields and Harmonic Functions

Abstract

In this paper we propose an improvement for a semi-supervised learning algorithm based on Gaussian random fields and harmonic functions. Semi-supervised learning based on Gaussian random fields and harmonic functions is a graph-based semi-supervised learning method that uses data point similarity to connect unlabeled data points with labeled data points, thus achieving label propagation. The proposed improvement concerns the way of determining similarity between two points by using a hybrid RBF-kNN kernel. This improvement makes the algorithm more resilient to noise and makes label propagation more locality-aware. The proposed improvement was tested on five synthetic datasets. Results indicate that there is no improvement for datasets with big margin between classes, however in datasets with low margin proposed approach with hybrid kernel outperforms existing algorithms with a simple kernel.
У статті запропоновано вдосконалення алгоритму напівкерованого навчання, заснованого на гауссових випадкових полях і гармонічних функціях. Напівкероване навчання на основі гаусових випадкових полів і гармонійних функцій – це метод напівкерованого навчання на основі графів, який використовує подібність точок даних для з’єднання немаркованих точок даних із позначеними точками даних, таким чином досягаючи розповсюдження міток. Запропоноване вдосконалення стосується способу визначення подібності між двома точками за допомогою гібридного ядра RBF-kNN. Це вдосконалення робить алгоритм більш стійким до шуму та покращує розповсюдження міток з урахуванням локальності. Запропоноване вдосконалення перевірено на п’яти синтетичних наборах даних. Результати вказують на відсутність покращень для наборів даних із великим запасом між класами, однак у наборах даних із низьким запасом запропонований підхід із гібридним ядром перевершує існуючі алгоритми з простим ядром.

Description

Науковий журнал «Електроніка та системи управління» президією Міністерства освіти і науки України віднесено до наукових фахових видань у галузі технічних наук категорії «Б». Рекомендовано до друку вченою радою Національного авіаційного університету (протокол № 6 від 15 червня 2023 р.). Зареєстровано Міністерством юстиції України. Свідоцтво про державну реєстрацію друкованого засобу масової інформації. Серія КВ №16720-5292 ПР від 21 травня 2010 року.

Keywords

machine learning, semi-supervised learning, label propagation, Gaussian random fields, k nearest neighbors, harmonic functions, машинне навчання, напівкероване навчання, поширення мітки, Гауссові випадкові поля, k найближчих сусідів, гармонічні функції

Citation

Sineglazov V. M. Comparative Modification of Semi-supervised Algorithm Based on Gaussian Random Fields and Harmonic Functions / V. M. Sineglazov, Lesohorskyi K. S., Chumachenko O. I. // Electronics and Control Systems. Kyiv: NAU, 2023. – No 2(76). – pp. 28–34.