Програмна система для аналізу контенту web-сайтів

Abstract

Частотний аналіз є одним з порівняно простих методів обробки тексту на природній мові (NLP). Його результатом є список слів, найбільш часто зустрічаються в тексті. Частотний аналіз також дозволяє отримати уявлення про тематику і основні поняття тексту. Для проведення частотного аналізу і визначення тематики тексту рекомендується виконати очистку тексту від знаків пунктуації, зайвих символів пробілів і цифр. Зробити це можна різними способами - за допомогою вбудованих функцій роботи з рядками, за допомогою регулярних виразів, за допомогою операцій обробки списків або іншим способом. Набір спеціальних символів, які будуть видалені з тексту може бути розширено. Необхідно проаналізувати вихідний текст і виявити символи, які слід видалити. Додамо до знаків пунктуації символи розриву рядків, табуляції та інші символи, які зустрічаються в нашому вихідному тексті (наприклад, символ з кодом \ xa0): Для видалення символів використовуємо поелементну обробку рядка - розділимо вихідну рядок text на символи, залишимо тільки символи, що не входять в набір spec_chars і знову об'єднаємо список символів в рядок. Токенізація тексту Для подальшої обробки очищений текст необхідно розбити на складові частини - токени. В аналізі тексту на природній мові застосовується розбивка на символи, слова і пропозиції. Процес розбиття називається токенізація. Для нашої задачі частотного аналізу необхідно розбити текст на слова. Для цього можна використовувати готовий метод бібліотеки NLTK: Підрахунок статистики зустрічальності слів в тексті Для підрахунку статистики розподілу частот слів в тексті застосовується клас FreqDist (frequency distributions): Спроба вивести змінну fdist відобразить словник, що містить маркери і їх частоти - кількість разів, які ці слова зустрічаються в тексті: Частота розподілу слів тексті може бути візуалізувати за допомогою графіка. Клас FreqDist містить вбудований метод plot для побудови такого графіка. Необхідно вказати кількість токенов, частоти яких будуть показані на графіку. З параметром cumulative = False графік ілюструєзакон Ціпфа: Якщо все слова досить довгого тексту впорядкувати по спадаючій частоти їх використання, то частота n-го слова в такому списку опиниться приблизно обернено пропорційній його порядковому номеру n.