Метод аналітичної обробки текстових матеріалів пошукової платформи

Abstract

Швидкий розвиток інформаційних технологій, особливо розвиток Інтернету, привів людей в епоху обміну інформацією. Інтернет надає людям платформу для обміну інформацією та став невід’ємною частиною сучасних життєвих інструментів та інструментів роботи. Доступ до мобільного Інтернету став одним із найбільш часто використовуваних інтернет-каналів. З постійним збільшенням кількості користувачів Інтернету та безперервним зростанням онлайн-інформації люди зіткнулися з проблемою масової інформації, такої як пошук та керування, викликану розширенням кількості даних. Методи ефективної організації та керування цією інформацією стали сферами інформаційної науки. З безперервним розвитком технологій класифікація медіа файлів поступово змінилася від методу, заснованого на знаннях, до методу, заснованого на статистиці та машинному навчанні. Заходи подібності тексту відіграють все більш важливу роль у дослідженнях, пов'язаних з текстом, і додатках, таких як пошук інформації, класифікація тексту, кластеризація документів, виявлення теми, відстеження теми, створення питань, відповіді на питання, оцінка есе, оцінка коротких відповідей, машинний переклад, текст. підбиття підсумків та інші. Виявлення подібності між словами є фундаментальною частиною подібності тексту, яка потім використовується як основний етап для подібності речень, абзаців та документів. Вимірювання подібності між словами, пропозиціями, абзацами та документами є важливим компонентом у різних завданнях, таких як пошук інформації, кластеризація документів, усунення неоднозначності слів, автоматична оцінка есе, оцінка коротких відповідей, машинний переклад та підсумовування тексту. У цьому огляді обговорюються існуючі роботи зі схожості текстів шляхом поділу їх на три підходи; Подібності на основі рядків, на основі корпусу та на основі знань. Крім того, представлені зразки поєднання цих подібностей. Слова можуть бути схожі двояко лексично та семантично. Слова схожі лексично, якщо вони мають однакову послідовність символів. Слова подібні семантично, якщо вони мають одне й те саме, протилежні один одному, вживаються однаково, вживаються в одному контексті і одне є типом іншого. Лексична схожість представлена в цьому огляді за допомогою різних алгоритмів на основі рядків, семантична схожість представлена за допомогою алгоритмів на основі корпусу та знань. Заходи на основі рядків працюють із послідовностями рядків та композицією символів. Метрика рядка - це метрика, яка вимірює подібність або відмінність між двома текстовими рядками для приблизного зіставлення або поріняння рядків. Подібність на основі корпусу - це міра семантичної подібності, яка визначає подібність між словами відповідно до інформації, отриманої з великих корпусів. Подібність на основі знань - це міра семантичної подібності, що визначає ступінь подібності між словами з використанням інформації, отриманої з семантичних мереж. Коротко будуть представлені найпопулярніші для кожного виду. Пошук інформації, також відомий як запити, відноситься до чітко визначеного, цілеспрямованого пошуку інформації для чітко сформульованої інформаційної потреби, тобто коли ви маєте досить чітке уявлення про тип інформації, яка вам потрібна. Сценарій 1 вище з конкретними елементами належить до цієї категорії. Проте пошук інформації може також охоплювати пошук, коли ви ще не маєте конкретних елементів, які потрібно знайти, але чітко визначили свої інформаційні потреби та відносно впевнені щодо типу інформації, яка вам потрібна: • пошук відомого елемента: коли у вас є достатньо деталей про елемент, щоб можна було його ідентифікувати та знайти, наприклад, ім’я автора, назва, ISBN, назва журналу, том і номер випуску; • фактичний пошук: коли вам потрібна інформація про конкретні факти, наприклад, чисельність населення Ісландії або рік, коли було побудовано Емпайр-Стейт-Білдінг; • тематичний пошук: це передбачає пошук інформації на тему, яку ви не можете повністю визначити. Це найскладніший тип пошуку, оскільки ви не можете точно вказати, що вам потрібно, а від чого можете сміливо відмовитися.. Більшість завдань, які ви отримуєте в коледжі, вимагатимуть пошуку предметів; тому ми витратимо деякий час на це обговорення. На відміну від пошуку, перегляд - це нецільовий пошук, коли ваша потреба в інформації є невизначеною або дуже загальною, або ви не знайомі з темою, яку досліджуєте. Перегляд дає змогу відчути тематику, яка, в ідеалі, через деякий час перетвориться на більш цілеспрямовану та точну форму пошуку. Метою перегляду є відкриття. Ви швидко переглядаєте та гортаєте інформацію в надії знайти інформацію, яка допоможе вам у виконанні вашого завдання. По суті, ви шукаєте інформаційні ресурси, про існування яких ви ще не підозрюєте. Для порівняння пошук інформації передбачає пошук ресурсів, про які ви точно знаєте або принаймні сильно підозрюєте, що вони десь є. Перегляд веб-сторінок уможливлює інтуїцію, «випадковість і розвиток подій щасливим або корисним способом». Ми переглядаємо в надії отримати натхнення або несподівано натрапити на ідеальне джерело. Перехід за посиланнями в Інтернеті, сканування полиць у бібліотеці, читання змісту книг, прокручування меню на веб-сайті - усе це приклади поведінки під час перегляду. Іноді нам потрібно починати широкий і звужувати пошук, поки ми не знайдемо ідеальне джерело. Більшість електронних пошукових систем тепер підтримують як пошук інформації, так і поведінку перегляду. Подумайте про такий веб-сайт, як Amazon: ви можете, наприклад, вибрати або шукати елемент безпосередньо, ввівши ключові слова чи імена авторів у вікно пошуку, або, якщо ви не впевнені, що хочете знайти, переглянути різні відділів або жанрів. такі веб сайти, як Amazon, визнають важливість перегляду веб-сторінок і випадковості, надаючи списки товарів, схожих на той, який ви щойно клацнули під заголовком «Клієнти, які купили цей товар, також купили». Те саме стосується систем, які ви будете використовувати для роботи в коледжі. Залежно від того, чи є ваша потреба в інформації чітко визначеною чи нечіткою та загальною, як цифрові детективи ви повинні знати, як вибрати відповідні ресурси для пошуку та як розробити ефективні стратегії пошуку, які дозволять вам виконувати високоякісні завдання.