Evaluation of Generative Artificial Intelligence Safeguards Against the Creation of Images and Videos Harmful to Public Health
Bewertung von Schutzmechanismen generativer künstlicher Intelligenz gegen die Erstellung gesundheitsgefährdender Bilder und Videos
Public Health Reports® · 2026-07 · 141 (4) · 542-551
DOI: 10.1177/00333549261418596 ↗Auf einen Blick
10 Text-zu-Bild-Modelle und 2 Text-zu-Video-Modelle wurden auf Inhalte geprüft, die der öffentlichen Gesundheit schaden könnten. 52 % der Bildausgaben und 52 % bzw. 30 % der Videoausgaben waren potenziell schädlich.
Fragestellung
Wie gut schützen öffentlich zugängliche generative KI-Anwendungen vor der Erstellung von Bild- und Videoinhalten, die der öffentlichen Gesundheit schaden könnten?
Methode
Untersuchung von 10 Text-zu-Bild- und 2 Text-zu-Video-Modellen zu 5 Public-Health-Themen; 10 paraphrasierte Prompts je Thema, doppelt für Bilder und einmal für Videos; 2 Reviewer, χ²-Tests.
Ergebnisse
Von 1000 Bild-Prompts wurden 521 (52 %) als potenziell schädlich bewertet. Die Raten reichten von 43 % (85/200) bis 64 % (128/200) und von 0 % bei ChatGPT bis 98 % bei Reve. Bei 100 Video-Prompts waren 52 % von Sora und 30 % von Flow potenziell schädlich.
Schlussfolgerung der Autor:innen
Die Schutzmechanismen generativer KI unterschieden sich deutlich; mehrere Systeme erzeugten häufig Bilder, die der öffentlichen Gesundheit schaden könnten. Die Autor:innen betonen den Bedarf an mehr Transparenz, Sicherheit und Aufsicht.
Kernaussagen
- 52 % der Bildausgaben waren potenziell schädlich
- Videoausgaben: 52 % bei Sora, 30 % bei Flow
- Schutzmechanismen variierten stark zwischen den Modellen
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Public Health Reports®, online erschienen am 26.02.2026. Verfasst von Bianca Chu und 11 weiteren Autor:innen. Beteiligte Einrichtung: Flinders Health and Medical Research Institute, College of Medicine and Public Health, Flinders University, Bedford Park, Australia. Hauptthemen laut MEDLINE: Generative Artificial Intelligence, Public Health, Video Recording. Die Arbeit wurde bisher 2-mal zitiert (Crossref) und nennt 37 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0). Gefördert von: Tour de Cure, Cancer Council South Australia, National Health and Medical Research Council.
Abstract (Originalsprache)
Objectives
As generative artificial intelligence (AI) continues to advance, an environment that lacks strong safeguards could create opportunities for misuse by malicious actors. This study aimed to evaluate the safeguards of publicly accessible generative AI applications against the creation of image and video content potentially harmful to public health.
Methods
We assessed the safeguards of 10 leading text-to-image models and 2 text-to-video models across 5 public health themes: promoting solariums as safe, stigmatizing overweight people, promoting alcohol use as safe during pregnancy, depicting vaping as healthy, and depicting smoking cigarettes as cool for teenagers. For each theme, we submitted 10 paraphrased prompts in duplicate to the image models and once to each video model. Two independent reviewers categorized outputs as potentially harmful or not, with a third reviewer responsible for resolving discrepancies. We used χ² tests to determine significant differences in outputs.
Results
Among 1000 image prompt submissions, we judged 521 (52%) of the generated images to be potentially harmful to public health. Image generation rates varied significantly by public health theme—from 43% (85 of 200) of prompts promoting alcohol use as safe during pregnancy to 64% (128 of 200) of prompts depicting vaping as healthy ( P < .001)—and across models, from 0% for ChatGPT to 98% for Reve ( P < .001). Of 100 video prompt submissions, we classified 52% of outputs from Sora and 30% from Flow as potentially harmful.
Conclusions
Generative AI applications varied significantly in safeguards, with several systems often generating images that could be harmful to public health. The findings underscore the urgent need for greater transparency, safety, and oversight of generative AI to mitigate public health harms.
Schlagwörter
MeSH-Schlagwörter (MEDLINE)
Stichwörter der Autor:innen
Autor:innen und Institutionen
- Flinders Health and Medical Research Institute, College of Medicine and Public Health, Flinders University, Bedford Park, Australia.
- Academic Unit of Clinical and Health Sciences, University of South Australia, Adelaide, Australia.
- Adelaide Medical School, The University of Adelaide, Adelaide, Australia.
- Lyell McEwin Hospital, Elizabeth, Australia.
- Department of Security and Crime Science, University College London, London, United Kingdom.
- Department of Cybersecurity, Warsaw University of Technology, Warsaw, Poland.
ORCID-Profile: Bradley D Menz
Förderung
- Tour de Cure
- Cancer Council South Australia
- National Health and Medical Research Council
- Hospital Research Foundation
Zitieren
APA
Chu, B., Modi, N. D., Menz, B. D., Cornelisse, E., Bacchi, S., Bulamu, N., Ullah, S., McKinnon, R. A., Gradon, K., Rowland, A., Sorich, M. J., & Hopkins, A. M. (2026). Evaluation of Generative Artificial Intelligence Safeguards Against the Creation of Images and Videos Harmful to Public Health. Public Health Reports®, 141(4), 542-551. https://doi.org/10.1177/00333549261418596
Vancouver
Chu B, Modi ND, Menz BD, Cornelisse E, Bacchi S, Bulamu N, et al. Evaluation of Generative Artificial Intelligence Safeguards Against the Creation of Images and Videos Harmful to Public Health. Public Health Reports®. 2026;141(4):542-551. doi:10.1177/00333549261418596
BibTeX
@article{Chu2026,
author = {Chu, Bianca and Modi, Natansh D and Menz, Bradley D and Cornelisse, Erik and Bacchi, Stephen and Bulamu, Norma and Ullah, Shahid and McKinnon, Ross A and Gradon, Kacper and Rowland, Andrew and Sorich, Michael J and Hopkins, Ashley M},
title = {Evaluation of Generative Artificial Intelligence Safeguards Against the Creation of Images and Videos Harmful to Public Health},
journal = {Public Health Reports®},
year = {2026},
volume = {141},
number = {4},
pages = {542--551},
doi = {10.1177/00333549261418596}
}
EUVIMED