Please use this identifier to cite or link to this item: https://er.nau.edu.ua/handle/NAU/61250
Title: Comparative Analysis of Text Vectorization Methods
Other Titles: Порівняльний аналіз методів векторизації тексту
Authors: Sineglazov, V. M.
Синєглазов, Віктор Михайлович
Savenko I. M., I. M.
Савенко, Ілля Михайлович
Keywords: intellectual text analysis
natural language processing
text embeddings
opinion mining
machine learning
Word2Vec
TF-IDF
statistical embeddings
context-based embeddings
інтелектуальний аналіз тексту
обробка тексту природної мови
вставлення тексту
аналіз думок
машинне навчання
Word2Vec
TF-IDF
статистичні вкладення
контекстні вбудовування
Issue Date: 27-Jun-2023
Publisher: National Aviation University
Citation: Sineglazov V. M. Comparative Analysis of Text Vectorization Methods / V. M. Sineglazov, I. M. Savenko // Electronics and Control Systems. Kyiv: NAU, 2023. – No 2(76). – pp. 21–27.
Series/Report no.: Electronics and Control Systems;№2(76)
Електроніка та системи управління;№2(76)
Abstract: The paper considers methods of vectorization of textual properties of natural language in the context of the task of intellectual text analysis. The most common methods of statistical analysis of feature extraction and methods that taking into account the context are analyzed. The work describes the above types of text embeddings and their most common variations and implementations. Their comparative analysis was performed, which showed the relationship between the type of task of intellectual text analysis and the method showing the best metrics. The topology of the neural network, which is the basis for solving the problem and obtaining metrics, is described, and implemented. The comparative analysis was carried out using the relative time analysis of the theory of algorithms and classification metrics: accuracy, f1-score, precision, recall. The classification metrics are taken from the results of building a neural network model using the described framing methods. As a result, in the task of analyzing the tonality of the text, the statistical method of framing based on n-grams of character sequences turned out to be the best.
В роботі розглянуто способи векторизації текстових властивостей природної мови в контексті задачі інтелектуального аналізу тексту. Проаналізовано найпоширеніші способи статистичного аналізу вилучення ознак та методи з урахуванням контексту. В роботі проведено опис вищезазначених типів обрамлення тексту та їх найпоширеніші реалізації. Виконано їх порівняльний аналіз, який показав зв’язок між типом задачі інтелектуального аналізу тексту та методом, що показує найкращі метрики. Описано та реалізовано топологію нейронної мережі, яка стоїть в основі вирішення задачі та отримання метрик. Порівняльний аналіз проведено за допомогою відносного аналізу часу теорії алгоритмів та метрик класифікації: accuracy, f1-score, precision, recall. Метрики класифікації узято з результатів побудови моделі нейронної мережі з використанням описаних методів обрамлення. В результаті в задачі аналізу тональності тексту найкращим виявився статистичний метод обрамлення на основі n-грамів символьних послідовностей.
Description: Науковий журнал «Електроніка та системи управління» президією Міністерства освіти і науки України віднесено до наукових фахових видань у галузі технічних наук категорії «Б». Рекомендовано до друку вченою радою Національного авіаційного університету (протокол № 6 від 15 червня 2023 р.). Зареєстровано Міністерством юстиції України. Свідоцтво про державну реєстрацію друкованого засобу масової інформації. Серія КВ №16720-5292 ПР від 21 травня 2010 року.
URI: https://er.nau.edu.ua/handle/NAU/61250
ISSN: 1990-5548
Appears in Collections:Наукові публікації та матеріали кафедри авіаційних комп'ютерно-інтегрованих комплексів (НОВА)

Files in This Item:
File Description SizeFormat 
5.pdfНаукова стаття884.13 kBAdobe PDFView/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.