Програмне забезпечення для збору та аналізу даних з веб сайтів

Abstract

Збір даних з метою подальшої аналітики або парсинг – це метод індексування даних з наступним перетворенням їх в інший тип даних або формат. Даний метод дозволяє інформацію або файл в одному форматі перетворити в форму простішу для сприйняття, яку після цього можна використовувати в певних цілях. Наприклад, за допомогою парсингу HTML-файл можна легко трансформувати в «чистий» текст і таким чином зробити його максимально зручним для читання. Або ж перетворити в JSON і зробити зручним для використання у програмах та скриптах. В даній роботі поняття парсинг розглядається в більш вузькій області, а саме збір даних з веб-сайтів. Тому йому можна дати точніше визначення. Отже, парсинг – це процес та метод обробки даних отриманих з веб-сторінок. Даний процес включає в себе аналіз тексту, екстракцію звідти необхідної інформації і її перетворення в заздалегідь зазначений формат, який можна використовувати відповідно до поставлених цілей. Завдяки парсингу можна знаходити на сторінках невеликі клаптики корисної інформації і в автоматичному режимі їх звідти витягувати, щоб потім перевикористати.