EUVIMEDEUVIMED entdecken
Open Access · CC BY 4.0

pxGPT: a schema-constrained multimodal large language model framework for plant phenotyping

pxGPT: ein schema-kontrolliertes multimodales Large-Language-Model-Framework für die Pflanzenphänotypisierung

Po-Xing Zheng iD, Jheng-Yan Ou iD, Yu-Lin Wu iD, Ruei-Shiuan Wang iD, Ting-Li Wu iD, Te-Chang Hsu, Yao-Cheng Lin iD

Bioinformatics · 02.10.2026 · 42 (10)

DOI: 10.1093/bioinformatics/btag781 ↗

Auf einen Blick

pxGPT überführt Mehransichts-Bilder von Pflanzen in strukturierte Phänotypdaten. In drei Brassica-Datensätzen zeigte die schema-gesteuerte Extraktion eine mit Menschen vergleichbare Übereinstimmung.

Fragestellung

Kann pxGPT sichtbare Pflanzenmerkmale aus Bildern schema-gesteuert in strukturierte Phänotypdaten extrahieren?

Methode

Python-Framework; Evaluation der Extraktionsstufe in 3 Brassica-Datensätzen mit 78 973 Annotationen von 10 Annotator:innen.

Ergebnisse

Für 38–45 qualitative Merkmale je Datensatz lag die Übereinstimmung pxGPT–Mensch bei 0,572 bis 0,712; zwischen menschlichen Annotator:innen bei 0,620 bis 0,739. Alle 32 736 erforderlichen Trait-Felder waren vorhanden; 93 Werte waren leer.

Einschränkungen

Für ausgewählte morphologische Strukturen variierten Sensitivitäten je Strukturtyp in einem Datensatz (37,5 %–100 %). Die Accuracy muss in jedem neuen Setting validiert werden.

Schlussfolgerung der Autor:innen

Die Ergebnisse stützen eine schema-geführte Extraktion sichtbarer Pflanzenmerkmale ohne separates Training für jedes Merkmal. Die Schemaentwicklung durch Menschen kann die Anwendung auf andere Kulturen und Bildbedingungen erweitern.

Kernaussagen

  • pxGPT wandelt Mehransichts-Pflanzenbilder in strukturierte Phänotypdaten um.
  • Übereinstimmung pxGPT–Mensch: 0,572 bis 0,712.
  • Alle 32 736 erforderlichen Trait-Felder waren vorhanden; 93 Werte waren leer.

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Bioinformatics, online erschienen am 20.10.2026. Verfasst von Po-Xing Zheng und 6 weiteren Autor:innen. Beteiligte Einrichtung: Biotechnology Center in Southern Taiwan, Academia Sinica, Tainan 711010, Taiwan. Hauptthemen laut MEDLINE: Phenotype, Software, Plants, Computational Biology. Die Arbeit nennt 8 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0). Gefördert von: Academia Sinica Institutional Fund and Agricultural Biotechnology for Sustainability.

Auf einen BlickAbstractSchlagwörterBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Summary Deep learning can scale image-based plant phenotyping but typically targets predefined traits, whereas manual phenotypic description is more flexible but difficult to scale. We present Phenotype eXplorer Generative Plant Traits (pxGPT), a Python framework that converts multi-view plant images into structured phenotype records. The workflow combines free-text description, dataset-specific schema generation with human review, and schema-constrained information extraction. We evaluated the extraction stage on three Brassica datasets using 78 973 annotations from 10 annotators who had no access to pxGPT predictions. For 38–45 qualitative traits per dataset, pxGPT-human agreement ranged from 0.572 to 0.712, compared with 0.620 to 0.739 agreement among human annotators. All 32 736 required trait fields were present; 93 values were empty, and no qualitative descriptor violations were recorded. For selected morphological structures, pooled false-positive rates were 0.5%–8.0%, while sensitivity varied across structure types in one mature-plant dataset (37.5%–100%). The curated schemas were applied unchanged with two commercial models and one locally hosted open-weight model, with differences in mean accuracy of 0.03 or less. In the evaluated Brassica datasets, these results support schema-guided extraction of visible plant traits without separate model training for each trait. Human-guided schema development offers a path to extend pxGPT to other crops and imaging conditions, with accuracy requiring validation in each new setting. Availability and implementation The software is available at https://github.com/YaoChengLab/pxgpt and an archival version of the source code is available on Zenodo (https://doi.org/10.5281/zenodo.22931745). Curated schemas used in this study, annotation guides, phenotype records, and human annotations are available at https://doi.org/10.5281/zenodo.22907554.

Schlagwörter

MeSH-Schlagwörter (MEDLINE)

PhenotypeSoftwarePlantsComputational BiologyLarge Language ModelsBrassicaDeep Learning

Autor:innen und Institutionen

  • Biotechnology Center in Southern Taiwan, Academia Sinica, Tainan 711010, Taiwan.
  • Agricultural Biotechnology Research Center, Academia Sinica, Taipei 115201, Taiwan.
  • Biotechnology Center, National Chung Hsing University, Taichung 402202, Taiwan.

ORCID-Profile: Po-Xing Zheng, Jheng-Yan Ou, Yu-Lin Wu, Ruei-Shiuan Wang, Ting-Li Wu, Yao-Cheng Lin

Förderung

  • Academia Sinica Institutional Fund and Agricultural Biotechnology for Sustainability

Zitieren

APA

Zheng, P. X., Ou, J. Y., Wu, Y. L., Wang, R. S., Wu, T. L., Hsu, T. C., & Lin, Y. C. (2026). pxGPT: a schema-constrained multimodal large language model framework for plant phenotyping. Bioinformatics, 42(10). https://doi.org/10.1093/bioinformatics/btag781

Vancouver

Zheng PX, Ou JY, Wu YL, Wang RS, Wu TL, Hsu TC, et al. pxGPT: a schema-constrained multimodal large language model framework for plant phenotyping. Bioinformatics. 2026;42(10). doi:10.1093/bioinformatics/btag781

BibTeX
@article{Zheng2026,
  author = {Zheng, Po-Xing and Ou, Jheng-Yan and Wu, Yu-Lin and Wang, Ruei-Shiuan and Wu, Ting-Li and Hsu, Te-Chang and Lin, Yao-Cheng},
  title = {pxGPT: a schema-constrained multimodal large language model framework for plant phenotyping},
  journal = {Bioinformatics},
  year = {2026},
  volume = {42},
  number = {10},
  doi = {10.1093/bioinformatics/btag781}
}
Kostenlos starten →