pxGPT: a schema-constrained multimodal large language model framework for plant phenotyping
pxGPT: ein schema-kontrolliertes multimodales Large-Language-Model-Framework für die Pflanzenphänotypisierung
Bioinformatics · 02.10.2026 · 42 (10)
DOI: 10.1093/bioinformatics/btag781 ↗Auf einen Blick
pxGPT überführt Mehransichts-Bilder von Pflanzen in strukturierte Phänotypdaten. In drei Brassica-Datensätzen zeigte die schema-gesteuerte Extraktion eine mit Menschen vergleichbare Übereinstimmung.
Fragestellung
Kann pxGPT sichtbare Pflanzenmerkmale aus Bildern schema-gesteuert in strukturierte Phänotypdaten extrahieren?
Methode
Python-Framework; Evaluation der Extraktionsstufe in 3 Brassica-Datensätzen mit 78 973 Annotationen von 10 Annotator:innen.
Ergebnisse
Für 38–45 qualitative Merkmale je Datensatz lag die Übereinstimmung pxGPT–Mensch bei 0,572 bis 0,712; zwischen menschlichen Annotator:innen bei 0,620 bis 0,739. Alle 32 736 erforderlichen Trait-Felder waren vorhanden; 93 Werte waren leer.
Einschränkungen
Für ausgewählte morphologische Strukturen variierten Sensitivitäten je Strukturtyp in einem Datensatz (37,5 %–100 %). Die Accuracy muss in jedem neuen Setting validiert werden.
Schlussfolgerung der Autor:innen
Die Ergebnisse stützen eine schema-geführte Extraktion sichtbarer Pflanzenmerkmale ohne separates Training für jedes Merkmal. Die Schemaentwicklung durch Menschen kann die Anwendung auf andere Kulturen und Bildbedingungen erweitern.
Kernaussagen
- pxGPT wandelt Mehransichts-Pflanzenbilder in strukturierte Phänotypdaten um.
- Übereinstimmung pxGPT–Mensch: 0,572 bis 0,712.
- Alle 32 736 erforderlichen Trait-Felder waren vorhanden; 93 Werte waren leer.
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Bioinformatics, online erschienen am 20.10.2026. Verfasst von Po-Xing Zheng und 6 weiteren Autor:innen. Beteiligte Einrichtung: Biotechnology Center in Southern Taiwan, Academia Sinica, Tainan 711010, Taiwan. Hauptthemen laut MEDLINE: Phenotype, Software, Plants, Computational Biology. Die Arbeit nennt 8 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0). Gefördert von: Academia Sinica Institutional Fund and Agricultural Biotechnology for Sustainability.
Abstract (Originalsprache)
Summary Deep learning can scale image-based plant phenotyping but typically targets predefined traits, whereas manual phenotypic description is more flexible but difficult to scale. We present Phenotype eXplorer Generative Plant Traits (pxGPT), a Python framework that converts multi-view plant images into structured phenotype records. The workflow combines free-text description, dataset-specific schema generation with human review, and schema-constrained information extraction. We evaluated the extraction stage on three Brassica datasets using 78 973 annotations from 10 annotators who had no access to pxGPT predictions. For 38–45 qualitative traits per dataset, pxGPT-human agreement ranged from 0.572 to 0.712, compared with 0.620 to 0.739 agreement among human annotators. All 32 736 required trait fields were present; 93 values were empty, and no qualitative descriptor violations were recorded. For selected morphological structures, pooled false-positive rates were 0.5%–8.0%, while sensitivity varied across structure types in one mature-plant dataset (37.5%–100%). The curated schemas were applied unchanged with two commercial models and one locally hosted open-weight model, with differences in mean accuracy of 0.03 or less. In the evaluated Brassica datasets, these results support schema-guided extraction of visible plant traits without separate model training for each trait. Human-guided schema development offers a path to extend pxGPT to other crops and imaging conditions, with accuracy requiring validation in each new setting. Availability and implementation The software is available at https://github.com/YaoChengLab/pxgpt and an archival version of the source code is available on Zenodo (https://doi.org/10.5281/zenodo.22931745). Curated schemas used in this study, annotation guides, phenotype records, and human annotations are available at https://doi.org/10.5281/zenodo.22907554.
Schlagwörter
MeSH-Schlagwörter (MEDLINE)
Autor:innen und Institutionen
- Biotechnology Center in Southern Taiwan, Academia Sinica, Tainan 711010, Taiwan.
- Agricultural Biotechnology Research Center, Academia Sinica, Taipei 115201, Taiwan.
- Biotechnology Center, National Chung Hsing University, Taichung 402202, Taiwan.
ORCID-Profile: Po-Xing Zheng, Jheng-Yan Ou, Yu-Lin Wu, Ruei-Shiuan Wang, Ting-Li Wu, Yao-Cheng Lin
Förderung
- Academia Sinica Institutional Fund and Agricultural Biotechnology for Sustainability
Zitieren
APA
Zheng, P. X., Ou, J. Y., Wu, Y. L., Wang, R. S., Wu, T. L., Hsu, T. C., & Lin, Y. C. (2026). pxGPT: a schema-constrained multimodal large language model framework for plant phenotyping. Bioinformatics, 42(10). https://doi.org/10.1093/bioinformatics/btag781
Vancouver
Zheng PX, Ou JY, Wu YL, Wang RS, Wu TL, Hsu TC, et al. pxGPT: a schema-constrained multimodal large language model framework for plant phenotyping. Bioinformatics. 2026;42(10). doi:10.1093/bioinformatics/btag781
BibTeX
@article{Zheng2026,
author = {Zheng, Po-Xing and Ou, Jheng-Yan and Wu, Yu-Lin and Wang, Ruei-Shiuan and Wu, Ting-Li and Hsu, Te-Chang and Lin, Yao-Cheng},
title = {pxGPT: a schema-constrained multimodal large language model framework for plant phenotyping},
journal = {Bioinformatics},
year = {2026},
volume = {42},
number = {10},
doi = {10.1093/bioinformatics/btag781}
}
EUVIMED