Detection of face-swapped fake videos using human gaze information
Numerical Methods and Programming (Vychislitel'nye Metody i Programmirovanie) · 01.04.2026 · 27 (2) · 274-289
DOI: 10.26089/nummet.v27r218 ↗Kurz gefasst
Fachartikel in der Zeitschrift Numerical Methods and Programming (Vychislitel'nye Metody i Programmirovanie), online erschienen am 01.04.2026. Verfasst von Maksim D. Krasilnikov und 2 weiteren Autor:innen. Die Arbeit nennt 32 Literaturangaben.
Abstract (Originalsprache)
The relevance of fake face video detection is driven by the rapid improvement of face synthesis and face swapping techniques, which makes traditional forgery cues less robust when transferred to new generation methods and recording conditions. Common approaches based on the analysis of individual frames usually rely on local visual artifacts that may disappear after compression, re-encoding, and post-processing, and they also require a close match between the distributions of training and deployment data. Such methods do not exploit information about human behavior over time and do not make use of screen interaction scenarios. In this paper, we propose a cooperative approach in which the forgery cue is given by the calibration parameters of a gaze estimation model computed from a video track obtained while a subject sequentially fixates on points displayed on the screen. A simple classifier is trained using these parameters, and their fusion with the outputs of standard fake video detectors is also considered. It is shown that the calibration parameters alone are sufficient for reliable separation of authentic and synthesized tracks and, in several settings, outperform detectors trained only on visual features, while their fusion with the outputs of such detectors provides an additional gain in accuracy. Feature importance analysis indicates a dominant contribution of the parameters associated with the vertical component of gaze direction, which is consistent with the assumption that current generators are more vulnerable when synthesizing realistic eye appearance at extreme upward and downward gaze angles. Актуальность задачи распознавания поддельных видеозаписей лица обусловлена быстрым ростом качества средств синтеза и замены лица, вследствие чего традиционные признаки подделки становятся менее устойчивыми при переносе на новые методы генерации и условия съемки. Распространенные подходы, основанные на анализе отдельных кадров, как правило, опираются на локальные визуальные артефакты, которые могут исчезать после сжатия, повторного кодирования и постобработки, а также требуют совпадения распределений обучающих и прикладных данных. Такие методы не используют информацию о поведении человека во времени и не задействуют сценарии взаимодействия с экраном. В настоящей работе предлагается кооперативный подход, в котором признаком подделки служат параметры калибровки модели оценки направления взгляда, вычисляемые по видеотреку, полученному при последовательной фиксации взгляда на предъявляемых на экране точках. На основе этих параметров обучается простой классификатор, а также рассматривается объединение этих признаков с выходами стандартных детекторов фальшивых видео. Показано, что одних параметров калибровки достаточно для уверенного разделения подлинных и синтезированных треков и в ряде настроек они превосходят детекторы, обученные только на визуальных признаках, тогда как их объединение с выходами таких детекторов обеспечивает дополнительный прирост качества. Анализ значимости признаков указывает на преобладающий вклад параметров, связанных с вертикальной составляющей направления взгляда, что согласуется с предположением о повышенной уязвимости генераторов при синтезе реалистичного вида глаз на экстремальных отклонениях вверх и вниз.
Zitieren
APA
Krasilnikov, M. D., Nikitin, M. Y., & Konushin, A. S. (2026). Detection of face-swapped fake videos using human gaze information. Numerical Methods and Programming (Vychislitel'nye Metody i Programmirovanie), 27(2), 274-289. https://doi.org/10.26089/nummet.v27r218
Vancouver
Krasilnikov MD, Nikitin MY, Konushin AS. Detection of face-swapped fake videos using human gaze information. Numerical Methods and Programming (Vychislitel'nye Metody i Programmirovanie). 2026;27(2):274-289. doi:10.26089/nummet.v27r218
BibTeX
@article{Krasilnikov2026,
author = {Krasilnikov, Maksim D. and Nikitin, Mikhail Yu. and Konushin, Anton S.},
title = {Detection of face-swapped fake videos using human gaze information},
journal = {Numerical Methods and Programming (Vychislitel'nye Metody i Programmirovanie)},
year = {2026},
volume = {27},
number = {2},
pages = {274--289},
doi = {10.26089/nummet.v27r218}
}
EUVIMED