EUVIMEDEUVIMED entdecken
Open Access · CC BY 4.0

ДОСЛІДЖЕННЯ ЕФЕКТИВНОСТІ ЗАВАНТАЖЕННЯ ТА ЗБЕРІГАННЯ ДАНИХ У АРХІТЕКТУРАХ DATA LAKEHOUSE ДЛЯ ФОРМУВАННЯ АНАЛІТИЧНИХ СИСТЕМ ДАНИХ

Іван БОРОДІЙ, Галина ОСУХІВСЬКА

Information Technology: Computer Science, Software Engineering and Cyber Security · 30.12.2025 · (4) · 28-36

DOI: 10.32782/it/2025-4-4 ↗

Kurz gefasst

Fachartikel in der Zeitschrift Information Technology: Computer Science, Software Engineering and Cyber Security, online erschienen am 30.12.2025. Verfasst von Іван БОРОДІЙ und 1 weiteren Autor:innen. Die Arbeit wurde bisher 1-mal zitiert (Crossref). Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).

AbstractBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

У статті представлено дослідження ефективності завантаження та збереження даних у трьох найпоширеніших системах Data Lakehouse, серед яких Apache Hudi, Apache Iceberg та Delta Lake, використовуючи Apache Spark як платформу розподіленої обробки даних. У межах дослідження проаналізовано поведінку кожної системи під час обробки структурованих (CSV) та напівструктурованих (JSON) даних різного обсягу, включаючи завантаження файлу обсягом до 7 ГБ. Метою роботи є визначення найоптимальнішої Data Lakehouse архітектури на основі типу і обсягу джерел даних, продуктивності завантаження даних засобом Apache Spark, дискового розміру даних для формування аналітичних систем даних. Методологія дослідження охоплює побудову чотирьох послідовних ETL процесів, які включають зчитування, трансформацію та завантаження даних у таблиці кожної з Data Lakehouse систем. Ефективність кожної з Lakehouse оцінювалась за двома ключовими критеріями: час завантаження даних та обсяг сформованих таблиць у файловій системі. Наукова новизна. Вперше здійснено порівняння продуктивності та збереження даних в Data Lakehouse системах Apache Iceberg, Apache Hudi та Delta Lake з метою вибору найбільш релевантної архітектури для формування аналітичних систем даних. Практична цінність дослідження полягає в тому, що воно допомагає інженерам і архітекторам даних вибрати найбільш відповідну Lakehouse архітектуру, розуміючи баланс між продуктивністю завантаження та ефективністю зберігання. Висновки. Експериментальні результати продемонстрували, що Delta Lake є найбільш оптимальною архітектурою для систем, де пріоритетом є швидкість завантаження даних будь-якого об’єму, тоді як застосування Apache Iceberg є найбільш доцільним у системах, де критичними є стабільність та економія дискового простору. Apache Hudi виявився неефективним у задачах оцінки завантаження та збереження даних, але потенційно може бути ефективним у сценаріях інкрементальних оновлень та потокової обробки.

Zitieren

APA

БОРОДІЙ, І., & ОСУХІВСЬКА, Г. (2025). ДОСЛІДЖЕННЯ ЕФЕКТИВНОСТІ ЗАВАНТАЖЕННЯ ТА ЗБЕРІГАННЯ ДАНИХ У АРХІТЕКТУРАХ DATA LAKEHOUSE ДЛЯ ФОРМУВАННЯ АНАЛІТИЧНИХ СИСТЕМ ДАНИХ. Information Technology: Computer Science, Software Engineering and Cyber Security, 28-36. https://doi.org/10.32782/it/2025-4-4

Vancouver

БОРОДІЙ І, ОСУХІВСЬКА Г. ДОСЛІДЖЕННЯ ЕФЕКТИВНОСТІ ЗАВАНТАЖЕННЯ ТА ЗБЕРІГАННЯ ДАНИХ У АРХІТЕКТУРАХ DATA LAKEHOUSE ДЛЯ ФОРМУВАННЯ АНАЛІТИЧНИХ СИСТЕМ ДАНИХ. Information Technology: Computer Science, Software Engineering and Cyber Security. 2025:28-36. doi:10.32782/it/2025-4-4

BibTeX
@article{2025,
  author = {БОРОДІЙ, Іван and ОСУХІВСЬКА, Галина},
  title = {ДОСЛІДЖЕННЯ ЕФЕКТИВНОСТІ ЗАВАНТАЖЕННЯ ТА ЗБЕРІГАННЯ ДАНИХ У АРХІТЕКТУРАХ DATA LAKEHOUSE ДЛЯ ФОРМУВАННЯ АНАЛІТИЧНИХ СИСТЕМ ДАНИХ},
  journal = {Information Technology: Computer Science, Software Engineering and Cyber Security},
  year = {2025},
  number = {4},
  pages = {28--36},
  doi = {10.32782/it/2025-4-4}
}
Kostenlos starten →