EUVIMEDEUVIMED entdecken
Crossref

Identifying ChatGPT-Written Patient Education Materials Using Text Analysis and Readability

Identifikation von von ChatGPT geschriebenen Patienteninformationen mithilfe von Textanalyse und Lesbarkeit

Silas Monje iD, Sophie Ulene, Alexis C Gimovsky iD

American Journal of Perinatology · 2024-12 · 41 (16) · 2229-2231

DOI: 10.1055/a-2302-8604 ↗

Auf einen Blick

ChatGPT-generierte obstetrische Patienteninformationen unterschieden sich von ACOG-Texten in Länge, Wortlänge und Lesbarkeit. Ein neues Bewertungssystem erkannte AI- und Humantexte mit hoher Genauigkeit.

Fragestellung

Lassen sich ChatGPT-generierte Patienteninformationsmaterialien mithilfe von Textanalyse und Lesbarkeitsmaßen von von Menschen geschriebenen Texten unterscheiden?

Methode

ChatGPT erzeugte 25 obstetrische Artikel für Patient:innen; Vergleich mit ACOG-Artikeln. Analyse von Lesbarkeit und Grammatik mit validierten Scores; neues Scoring-System geprüft an 17 AI-Texten und 7 ACOG-Artikeln.

Ergebnisse

25 AI-Artikel waren kürzer (3.066 vs. 7.426 Zeichen), hatten längere Wörter (5,3 vs. 4,8) und einen niedrigeren Flesch-Kincaid-Score (46 vs. 59; jeweils p < 0,0001). Das neue System erreichte Sensitivität 94,1 %, Spezifität 100 % und AUC 0,99.

Schlussfolgerung der Autor:innen

Mit zunehmender Integration von ChatGPT in die Medizin werden laut den Autor:innen Werkzeuge wichtig, die Originaltexte von AI-generierten Dokumenten trennen. Einfache Grammatikanalyse kann aktuelle AI-Texte mit hoher Sensitivität und Spezifität charakterisieren.

Kernaussagen

  • 25 AI-Artikel waren kürzer als ACOG-Texte
  • Flesch-Kincaid-Score: 46 vs. 59
  • Neues System: Sensitivität 94,1 %, Spezifität 100 %

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift American Journal of Perinatology, online erschienen am 02.05.2024. Verfasst von Silas Monje und 2 weiteren Autor:innen. Beteiligte Einrichtung: The Warren Alpert Medical School, Brown University, Providence, Rhode Island. Hauptthemen laut MEDLINE: Artificial Intelligence, Comprehension, Obstetrics, Patient Education as Topic. Die Arbeit wurde bisher 11-mal zitiert (Crossref) und nennt 3 Literaturangaben.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Objective

Artificial intelligence (AI)-based text generators such as Chat Generative Pre-Trained Transformer (ChatGPT) have come into the forefront of modern medicine. Given the similarity between AI-generated and human-composed text, tools need to be developed to quickly differentiate the two. Previous work has shown that simple grammatical analysis can reliably differentiate AI-generated text from human-written text. Study Design In this study, ChatGPT was used to generate 25 articles related to obstetric topics similar to those made by the American College of Obstetrics and Gynecology (ACOG). All articles were geared towards patient education. These AI-generated articles were then analyzed for their readability and grammar using validated scoring systems and compared to real articles from ACOG.

Results

Characteristics of the 25 AI-generated articles included fewer overall characters than original articles (mean 3,066 vs. 7,426; p < 0.0001), a greater average word length (mean 5.3 vs. 4.8; p < 0.0001), and a lower Flesch–Kincaid score (mean 46 vs. 59; p < 0.0001). With this knowledge, a new scoring system was develop to score articles based on their Flesch–Kincaid readability score, number of total characters, and average word length. This novel scoring system was tested on 17 new AI-generated articles related to obstetrics and 7 articles from ACOG, and was able to differentiate between AI-generated articles and human-written articles with a sensitivity of 94.1% and specificity of 100% (Area Under the Curve [AUC] 0.99).

Conclusion

As ChatGPT is more widely integrated into medicine, it will be important for health care stakeholders to have tools to separate originally written documents from those generated by AI. While more robust analyses may be required to determine the authenticity of articles written by complex AI technology in the future, simple grammatical analysis can accurately characterize current AI-generated texts with a high degree of sensitivity and specificity. Key Points

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

Artificial IntelligenceComprehensionObstetricsPatient Education as TopicHumansGynecology

Autor:innen und Institutionen

  • The Warren Alpert Medical School, Brown University, Providence, Rhode Island.
  • Columbia University Vagelos College of Physicians and Surgeons, New York.
  • Division of Maternal-Fetal Medicine, Department of Obstetrics and Gynecology, Women & Infants Hospital of Rhode Island, Alpert Medical School of Brown University, Providence, Rhode Island.

ORCID-Profile: Silas Monje, Alexis C Gimovsky

Zitieren

APA

Monje, S., Ulene, S., & Gimovsky, A. C. (2024). Identifying ChatGPT-Written Patient Education Materials Using Text Analysis and Readability. American Journal of Perinatology, 41(16), 2229-2231. https://doi.org/10.1055/a-2302-8604

Vancouver

Monje S, Ulene S, Gimovsky AC. Identifying ChatGPT-Written Patient Education Materials Using Text Analysis and Readability. American Journal of Perinatology. 2024;41(16):2229-2231. doi:10.1055/a-2302-8604

BibTeX
@article{Monje2024,
  author = {Monje, Silas and Ulene, Sophie and Gimovsky, Alexis C},
  title = {Identifying ChatGPT-Written Patient Education Materials Using Text Analysis and Readability},
  journal = {American Journal of Perinatology},
  year = {2024},
  volume = {41},
  number = {16},
  pages = {2229--2231},
  doi = {10.1055/a-2302-8604}
}
Kostenlos starten →