Please use this identifier to cite or link to this item: https://er.nau.edu.ua/handle/NAU/60842
Title: Бібліотека для системного тестування Apache Spark
Authors: Демчук, Софія Олегівна
Keywords: дипломна робота
великі дані
Фреймворк
обробка даних
Apache Spark
Apache Hadoop
кластер
менеджер кластера
виконавець
Стек Spark
рівні тестування
системне тестування
автомати
Issue Date: 5-Jul-2023
Publisher: Національний авіаційний університет
Citation: Демчук С.О. Бібліотека для системного тестування Apache Spark. - Дипломна робота на здобуття ступеня бакалавра спеціальності “Комп’ютерні науки”, «Інформаційні управляючі системи та технології».- Київ, 2023. – 108 с.
Abstract: Із постійним розвитком технологій, в сучасному світі спостерігається величезна цифрова еволюція. Персональні комп’ютери, мобільні телефони і планшети, так само як і Інтернет і соціальні мережі, все більше і більше стають частиною нашого життя. За статистикою, щодня виробляється 2,5 квінтиліонних байт даних. Певна річ, завдяки цифровій революції кількість зростає з кожним роком лише все більше і більше. Можна сказати, живемо у світі потопу даних. Зміни відбуваються і для сучасних компаній у різних галузях – як великих, так і малих, що активно зростають, накопичуючи величезну кількість даних, які збираються відусюди. Цінність наборів даних почала зростати і стала ключовою як для бізнес-рішень, як і досліджень у аналітиці великих даних – набору даних, що характеризується гігантським об’ємом, а також великою різноманітністю. Не викликає жодних сумнівів, що останніми роками одним із найголовніших пріоритетів для технологічних компаній-гігантів стало отримання переваги над конкурентами шляхом обробки великих даних. Актуальність теми полягає в тому, що Apache Spark є потужним інструментом для обробки великих обсягів даних у реальному часі, що протягом останніх років набув широкого використання для різних завдань, таких як машинний аналіз, графові дослідження, інтерактивний аналіз даних, обробка великих обсягів даних і аналітика в реальному часі. Проте, використання Spark може призвести до необхідності постійного оновлення програмного забезпечення. Це може бути складним і тривалим процесом для компаній, що використовують фреймворк. Одним з рішень є розробка власних клієнтських бібліотек, які відповідають потребам компаній. Оскільки використання Spark і його клієнтських бібліотек є критичними для багатьох компаній, необхідно проводити системне тестування, щоб переконатися в правильності функціонування, надійності та ефективності всіх компонентів. Для 10 полегшення та автоматизації цього процесу було розроблено спеціалізовану бібліотеку, яка спрощує проведення системного тестування Apache Spark і його клієнтських бібліотек. Метою даної дипломної роботи є розробка бібліотеки для системного тестування Apache Spark, яка надасть зручні та ефективні засоби для створення, виконання та аналізу тестових сценаріїв. Бібліотека дозволить розробникам виконувати системні тести, що охоплюють різні аспекти функціональності та продуктивності Spark. Бібліотека для системного тестування Apache Spark буде допомагати забезпечити правильність функціонування та ефективність фреймворку, спрощуючи та автоматизуючи процес тестування його компонентів і клієнтських бібліотек. Відповідно до поставленої мети роботи, визначено основні завдання дослідження: - Провести аналіз наукової літератури про Spark і дослідити принципи його роботи; - Поглибити знання про основи тестування та їх рівня; - Проаналізувати мови програмування для розробки бібліотеки і роботі за Spark та обрати найкращу; - Проаналізувати особливості різних середовищ розробки та обрати найефективніший; - Розробити бібліотеку для системного тестування Spark та провести перевірку її роботи на прикладі Spark-застосунку. Отже, у ході роботи проводиться аналіз наукової літератури про Spark, вивчаються принципи його роботи, а також розглядаються основи тестування та вибір мови програмування та середовища розробки для реалізації бібліотеки. Також розробляється бібліотека для системного тестування Spark і проводиться перевірка її роботи на прикладі Spark-застосунку.
Description: Робота публікується згідно наказу Ректора НАУ від 27.05.2021 р. №311/од "Про розміщення кваліфікаційних робіт здобувачів вищої освіти в репозиторії університету" Керівник проекту: доцент, кандидат технічних наук, Єгоров Сергій Вікторович.
URI: https://er.nau.edu.ua/handle/NAU/60842
Appears in Collections:Кваліфікаційні роботи здобувачів вищої освіти кафедри комп’ютерних інформаційних технологій

Files in This Item:
File Description SizeFormat 
ФКНТ_2023_122_Демчук С.О..pdfДипломна робота бакалавра2.27 MBAdobe PDFView/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.