EUVIMEDEUVIMED entdecken
Open Access · CC BY 4.0

Evaluation of Generative Artificial Intelligence Safeguards Against the Creation of Images and Videos Harmful to Public Health

Bewertung von Schutzmechanismen generativer künstlicher Intelligenz gegen die Erstellung gesundheitsgefährdender Bilder und Videos

Bianca Chu, Natansh D Modi, Bradley D Menz iD, Erik Cornelisse, Stephen Bacchi, Norma Bulamu, Shahid Ullah, Ross A McKinnon, Kacper Gradon, Andrew Rowland, Michael J Sorich, Ashley M Hopkins

Public Health Reports® · 2026-07 · 141 (4) · 542-551

DOI: 10.1177/00333549261418596 ↗

Auf einen Blick

10 Text-zu-Bild-Modelle und 2 Text-zu-Video-Modelle wurden auf Inhalte geprüft, die der öffentlichen Gesundheit schaden könnten. 52 % der Bildausgaben und 52 % bzw. 30 % der Videoausgaben waren potenziell schädlich.

Fragestellung

Wie gut schützen öffentlich zugängliche generative KI-Anwendungen vor der Erstellung von Bild- und Videoinhalten, die der öffentlichen Gesundheit schaden könnten?

Methode

Untersuchung von 10 Text-zu-Bild- und 2 Text-zu-Video-Modellen zu 5 Public-Health-Themen; 10 paraphrasierte Prompts je Thema, doppelt für Bilder und einmal für Videos; 2 Reviewer, χ²-Tests.

Ergebnisse

Von 1000 Bild-Prompts wurden 521 (52 %) als potenziell schädlich bewertet. Die Raten reichten von 43 % (85/200) bis 64 % (128/200) und von 0 % bei ChatGPT bis 98 % bei Reve. Bei 100 Video-Prompts waren 52 % von Sora und 30 % von Flow potenziell schädlich.

Schlussfolgerung der Autor:innen

Die Schutzmechanismen generativer KI unterschieden sich deutlich; mehrere Systeme erzeugten häufig Bilder, die der öffentlichen Gesundheit schaden könnten. Die Autor:innen betonen den Bedarf an mehr Transparenz, Sicherheit und Aufsicht.

Kernaussagen

  • 52 % der Bildausgaben waren potenziell schädlich
  • Videoausgaben: 52 % bei Sora, 30 % bei Flow
  • Schutzmechanismen variierten stark zwischen den Modellen

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Public Health Reports®, online erschienen am 26.02.2026. Verfasst von Bianca Chu und 11 weiteren Autor:innen. Beteiligte Einrichtung: Flinders Health and Medical Research Institute, College of Medicine and Public Health, Flinders University, Bedford Park, Australia. Hauptthemen laut MEDLINE: Generative Artificial Intelligence, Public Health, Video Recording. Die Arbeit wurde bisher 2-mal zitiert (Crossref) und nennt 37 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0). Gefördert von: Tour de Cure, Cancer Council South Australia, National Health and Medical Research Council.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Objectives

As generative artificial intelligence (AI) continues to advance, an environment that lacks strong safeguards could create opportunities for misuse by malicious actors. This study aimed to evaluate the safeguards of publicly accessible generative AI applications against the creation of image and video content potentially harmful to public health.

Methods

We assessed the safeguards of 10 leading text-to-image models and 2 text-to-video models across 5 public health themes: promoting solariums as safe, stigmatizing overweight people, promoting alcohol use as safe during pregnancy, depicting vaping as healthy, and depicting smoking cigarettes as cool for teenagers. For each theme, we submitted 10 paraphrased prompts in duplicate to the image models and once to each video model. Two independent reviewers categorized outputs as potentially harmful or not, with a third reviewer responsible for resolving discrepancies. We used χ² tests to determine significant differences in outputs.

Results

Among 1000 image prompt submissions, we judged 521 (52%) of the generated images to be potentially harmful to public health. Image generation rates varied significantly by public health theme—from 43% (85 of 200) of prompts promoting alcohol use as safe during pregnancy to 64% (128 of 200) of prompts depicting vaping as healthy ( P < .001)—and across models, from 0% for ChatGPT to 98% for Reve ( P < .001). Of 100 video prompt submissions, we classified 52% of outputs from Sora and 30% from Flow as potentially harmful.

Conclusions

Generative AI applications varied significantly in safeguards, with several systems often generating images that could be harmful to public health. The findings underscore the urgent need for greater transparency, safety, and oversight of generative AI to mitigate public health harms.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Generative Artificial IntelligencePublic HealthVideo RecordingHumansFemaleAdolescent

Stichwörter der Autor:innen

AI safeguardsAI safetyartificial intelligencegenerative AIpublic health

Autor:innen und Institutionen

  • Flinders Health and Medical Research Institute, College of Medicine and Public Health, Flinders University, Bedford Park, Australia.
  • Academic Unit of Clinical and Health Sciences, University of South Australia, Adelaide, Australia.
  • Adelaide Medical School, The University of Adelaide, Adelaide, Australia.
  • Lyell McEwin Hospital, Elizabeth, Australia.
  • Department of Security and Crime Science, University College London, London, United Kingdom.
  • Department of Cybersecurity, Warsaw University of Technology, Warsaw, Poland.

ORCID-Profile: Bradley D Menz

Förderung

  • Tour de Cure
  • Cancer Council South Australia
  • National Health and Medical Research Council
  • Hospital Research Foundation

Zitieren

APA

Chu, B., Modi, N. D., Menz, B. D., Cornelisse, E., Bacchi, S., Bulamu, N., Ullah, S., McKinnon, R. A., Gradon, K., Rowland, A., Sorich, M. J., & Hopkins, A. M. (2026). Evaluation of Generative Artificial Intelligence Safeguards Against the Creation of Images and Videos Harmful to Public Health. Public Health Reports®, 141(4), 542-551. https://doi.org/10.1177/00333549261418596

Vancouver

Chu B, Modi ND, Menz BD, Cornelisse E, Bacchi S, Bulamu N, et al. Evaluation of Generative Artificial Intelligence Safeguards Against the Creation of Images and Videos Harmful to Public Health. Public Health Reports®. 2026;141(4):542-551. doi:10.1177/00333549261418596

BibTeX
@article{Chu2026,
  author = {Chu, Bianca and Modi, Natansh D and Menz, Bradley D and Cornelisse, Erik and Bacchi, Stephen and Bulamu, Norma and Ullah, Shahid and McKinnon, Ross A and Gradon, Kacper and Rowland, Andrew and Sorich, Michael J and Hopkins, Ashley M},
  title = {Evaluation of Generative Artificial Intelligence Safeguards Against the Creation of Images and Videos Harmful to Public Health},
  journal = {Public Health Reports®},
  year = {2026},
  volume = {141},
  number = {4},
  pages = {542--551},
  doi = {10.1177/00333549261418596}
}
Kostenlos starten →