Бібліотека для системного тестування Apache Spark

Abstract

Із постійним розвитком технологій, в сучасному світі спостерігається величезна цифрова еволюція. Персональні комп’ютери, мобільні телефони і планшети, так само як і Інтернет і соціальні мережі, все більше і більше стають частиною нашого життя. За статистикою, щодня виробляється 2,5 квінтиліонних байт даних. Певна річ, завдяки цифровій революції кількість зростає з кожним роком лише все більше і більше. Можна сказати, живемо у світі потопу даних. Зміни відбуваються і для сучасних компаній у різних галузях – як великих, так і малих, що активно зростають, накопичуючи величезну кількість даних, які збираються відусюди. Цінність наборів даних почала зростати і стала ключовою як для бізнес-рішень, як і досліджень у аналітиці великих даних – набору даних, що характеризується гігантським об’ємом, а також великою різноманітністю. Не викликає жодних сумнівів, що останніми роками одним із найголовніших пріоритетів для технологічних компаній-гігантів стало отримання переваги над конкурентами шляхом обробки великих даних. Актуальність теми полягає в тому, що Apache Spark є потужним інструментом для обробки великих обсягів даних у реальному часі, що протягом останніх років набув широкого використання для різних завдань, таких як машинний аналіз, графові дослідження, інтерактивний аналіз даних, обробка великих обсягів даних і аналітика в реальному часі. Проте, використання Spark може призвести до необхідності постійного оновлення програмного забезпечення. Це може бути складним і тривалим процесом для компаній, що використовують фреймворк. Одним з рішень є розробка власних клієнтських бібліотек, які відповідають потребам компаній. Оскільки використання Spark і його клієнтських бібліотек є критичними для багатьох компаній, необхідно проводити системне тестування, щоб переконатися в правильності функціонування, надійності та ефективності всіх компонентів. Для 10 полегшення та автоматизації цього процесу було розроблено спеціалізовану бібліотеку, яка спрощує проведення системного тестування Apache Spark і його клієнтських бібліотек. Метою даної дипломної роботи є розробка бібліотеки для системного тестування Apache Spark, яка надасть зручні та ефективні засоби для створення, виконання та аналізу тестових сценаріїв. Бібліотека дозволить розробникам виконувати системні тести, що охоплюють різні аспекти функціональності та продуктивності Spark. Бібліотека для системного тестування Apache Spark буде допомагати забезпечити правильність функціонування та ефективність фреймворку, спрощуючи та автоматизуючи процес тестування його компонентів і клієнтських бібліотек. Відповідно до поставленої мети роботи, визначено основні завдання дослідження: - Провести аналіз наукової літератури про Spark і дослідити принципи його роботи; - Поглибити знання про основи тестування та їх рівня; - Проаналізувати мови програмування для розробки бібліотеки і роботі за Spark та обрати найкращу; - Проаналізувати особливості різних середовищ розробки та обрати найефективніший; - Розробити бібліотеку для системного тестування Spark та провести перевірку її роботи на прикладі Spark-застосунку. Отже, у ході роботи проводиться аналіз наукової літератури про Spark, вивчаються принципи його роботи, а також розглядаються основи тестування та вибір мови програмування та середовища розробки для реалізації бібліотеки. Також розробляється бібліотека для системного тестування Spark і проводиться перевірка її роботи на прикладі Spark-застосунку.