Recommender Systems Based on Reinforced Learning

Abstract

This article is devoted to the problem of building recommender systems based on the use of artificial intelligence methods. The paper analyzes the algorithms of recommender systems. Analyzes the Markov decision-making process in the context of recommender systems. Approaches to the adaptation of reinforcement learning algorithms to the task of recommendations (transition from the task of supervised learning to the task of reinforcement learning) are considered. Reinforcement learning algorithms Deep Deterministic Policy Gradient and Twin Delayed DDPG were implemented with their own environment simulating the user's reaction, and the results were compared. The structure of a recommender system has been developed, in which the recommender agent generates a list of offers for an individual user, using his previous history of ratings. In the system itself, the user has the ability to interact only with the space of recommended films. This can be compared to the main YouTube page, which is a feed with suggestions, but we have a user interacting only with this feed and his reaction to objects in the recommendation space falls into recommender agent, which regulates the parameters of the model in the learning process.

Статтю присвячено проблемі побудови рекомендаційних систем на основі використання методів штучного інтелекту. У роботі проведено аналіз алгоритмів рекомендаційних систем, проаналізовано марківський процес прийняття рішень у контексті рекомендаційних систем. Розглянуто підходи до адаптації алгоритмів навчання з підкріпленням до завдання рекомендацій (перехід від задачі контрольованого навчання до завдання навчання з підкріпленням). Реалізовано алгоритми навчання з підкріпленням Deep Deterministic Policy Gradient та Twin Delayed DDPG із власним середовищем-імітацією реакції користувача та виконано порівняння результатів. Розроблено структуру рекомендаційної системи, у якій рекомендаційний агент генерує список пропозицій окремому користувачеві, використовуючи його попередню історію оцінок. У самій системі користувач має можливість взаємодії тільки з простором фільмів, що рекомендуються. Це можна порівняти з головною сторінкою YouTube, що є стрічкою з пропозиціями, у нас же користувач взаємодія тільки з цією стрічкою і його реакція на об'єкти в просторі рекомендацій потрапляє до рекомендаційного агента, який регулює параметри моделі в процесі навчання.