大模型静默数据损坏的统计检验方法 —— 基于均值波动统计量
Applied Statistics and Data Science · 2025
DOI: 10.61369/asds.10249 ↗Kurz gefasst
Fachartikel in der Zeitschrift Applied Statistics and Data Science, 2025. Verfasst von 琪 张 und 2 weiteren Autor:innen. Der Volltext ist frei zugänglich (Open Access, CC BY-NC 4.0).
Abstract (Originalsprache)
本文探讨了深度学习技术在大模型训练中遇到的静默数据损坏(SDC)问题,SDC由硬件故障引起,难以被处理器内部错误报告机制捕获,可能导致非预期训练结果。为了探索SDC检测方法,本文选取了Adam优化器中的历史梯度值作为观测对象,并运用三种方法:大数定律阈值检验、概率Cusum 检验和均值波动统计量检验进行对比分析。实验结果表明,大数定律阈值检验法主要适用于数据错误较大的情况,对微小变化不敏感;Cusum检验法虽然检验精度明显提升,但较均值波动统计量仍有差距,且对数据结构有特定要求;均值波动统计量通过累加历史统计信息,既能精准捕捉微小错误,同时也适用于不同数据类型,检验效果好且通用性强。
Zitieren
APA
张, 琪., 张, 娜., & 严, 晓. (2025). 大模型静默数据损坏的统计检验方法 —— 基于均值波动统计量. Applied Statistics and Data Science. https://doi.org/10.61369/asds.10249
Vancouver
张 琪, 张 娜, 严 晓. 大模型静默数据损坏的统计检验方法 —— 基于均值波动统计量. Applied Statistics and Data Science. 2025. doi:10.61369/asds.10249
BibTeX
@article{2025,
author = {张, 琪 and 张, 娜 and 严, 晓东},
title = {大模型静默数据损坏的统计检验方法 —— 基于均值波动统计量},
journal = {Applied Statistics and Data Science},
year = {2025},
doi = {10.61369/asds.10249}
}
EUVIMED