Semi-controlled learning in information processing problems

Abstract

The article substantiates the need for further research of known methods and the development of new methods of machine learning – semi-supervized learning. It is shown that knowledge of the probability distribution density of the initial data obtained using unlabeled data should carry information useful for deriving the conditional probability distribution density of labels and input data. If this is not the case, semi-supervised learning will not provide any improvement over supervised learning. It may even happen that the use of unlabeled data reduces the accuracy of the prediction. For semi-supervised learning to work, certain assumptions must hold, namely: the semi-supervised smoothness assumption, the clustering assumption (low-density partitioning), and the manifold assumption. A new hybrid semi-supervised learning algorithm using the label propagation method has been developed. An example of using the proposed algorithm is given.

У статті обґрунтовано необхідність подальшого дослідження відомих методів та розробки нових методів машинного навчання – напівкерованого навчання. Показано, що знання щільності розподілу ймовірностей вихідних даних, отриманих з використанням немаркованих даних, повинно нести інформацію, корисну для отримання умовної щільності розподілу ймовірностей міток і вхідних даних. Якщо це не так, напівкероване навчання не забезпечить жодних покращень у порівнянні з контрольованим навчанням. Може навіть статися так, що використання немаркованих даних зменшить точність передбачення. Щоб напівкероване навчання працювало, мають виконуватися певні припущення, а саме: напівкероване припущення гладкості, припущення кластеризації (поділ із низькою щільністю) і припущення різноманіття. Розроблено новий гібридний алгоритм напівкерованого навчання з використанням методу поширення мітки. Наведено приклад використання запропонованого алгоритму.