Uma avaliação empírica de técnicas de particionamento de dados em pipelines de dados distribuídos
Peer Review · 08.04.2026 · 8
DOI: 10.53660/prw-5114-2822 ↗Kurz gefasst
Fachartikel in der Zeitschrift Peer Review, online erschienen am 08.04.2026. Verfasst von Evandro Costa Ferreira und 1 weiteren Autor:innen.
Abstract (Originalsprache)
Este artigo apresenta um estudo sobre a otimização de pipelines de dados em ambientes distribuídos, com foco na eficiência de recursos e redução de custos operacionais. O objetivo foi avaliar o impacto de diferentes estratégias de particionamento em grandes volumes de dados utilizando a plataforma Databricks integrada ao Azure Data Lake Storage Gen2. Foi utilizado um dataset de aproximadamente 120 GiB, analisado em três cenários: (i) sem particionamento, (ii) particionamento tradicional e (iii) particionamento por liquid clustering. As métricas avaliadas incluíram tempo de processamento, uso de CPU, uso de memória e custo financeiro. Os resultados demonstraram que o liquid clustering reduziu o tempo médio de execução de 547,03 s para 206,77 s, representando uma redução superior a 60% em relação ao cenário sem particionamento e de aproximadamente 35% em relação ao particionamento tradicional, além de diminuir o custo operacional em mais de 50%. A análise estatística (ANOVA de Welch) indicou diferenças significativas entre os cenários (p < 0,001), corroborando a superioridade da abordagem adaptativa. Conclui-se que a escolha da estratégia de particionamento é determinante para a eficiência de pipelines de dados em ambientes distribuídos
Zitieren
APA
Ferreira, E. C., & Balthazar, G. D. R. (2026). Uma avaliação empírica de técnicas de particionamento de dados em pipelines de dados distribuídos. Peer Review, 8. https://doi.org/10.53660/prw-5114-2822
Vancouver
Ferreira EC, Balthazar GDR. Uma avaliação empírica de técnicas de particionamento de dados em pipelines de dados distribuídos. Peer Review. 2026;8. doi:10.53660/prw-5114-2822
BibTeX
@article{Ferreira2026,
author = {Ferreira, Evandro Costa and Balthazar, Glauber Da Rocha},
title = {Uma avaliação empírica de técnicas de particionamento de dados em pipelines de dados distribuídos},
journal = {Peer Review},
year = {2026},
volume = {8},
doi = {10.53660/prw-5114-2822}
}
EUVIMED