Benchmarking Local Large Language Models for Predicting Vestibular Dysfunction Based on Caloric Testing: A Comparison with Conventional Machine Learning on Stabilometry Data
Benchmarking lokaler Large Language Models zur Vorhersage einer Vestibularfunktionsstörung anhand des Kaloriktests: Vergleich mit konventionellem Machine Learning auf Stabilometriedaten
Audiology Research · 26.10.2026 · 16 (6) · 162
DOI: 10.3390/audiolres16060162 ↗Auf einen Blick
In einer explorativen Studie waren lokale LLMs bei der Vorhersage einer vestibulären Dysfunktion aus Stabilometriedaten heterogen. Baumbasierte Ensembles erzielten die beste Vorhersageleistung.
Fragestellung
Wie gut sagen lokale LLMs eine kaloriktestdefinierte vestibuläre Dysfunktion aus Stabilometriedaten voraus und wie schneiden sie im Vergleich zu konventionellem Machine Learning ab?
Methode
Explorative Analyse von Stabilometriedaten von 238 Teilnehmenden mit In-context Learning; 43 lokale LLMs wurden mit logistischer Regression und baumbasierten Ensembles per repeated hold-out Validierung verglichen.
Ergebnisse
238 Teilnehmende; 75 mit vestibulärer Dysfunktion, 163 Kontrollen. Baumbasierte Ensembles zeigten die höchste Vorhersageleistung. Mittlere Modelle erreichten eine Accuracy ähnlich wie LR, aber ohne statistisch klaren Unterschied; kleinere Modelle lieferten oft keine brauchbaren binären Ausgaben.
Einschränkungen
Kleines tabellarisches Datenset; externe Datenübertragung ausgeschlossen; kleinere Modelle oft ohne brauchbare binäre Outputs.
Schlussfolgerung der Autor:innen
Lokale LLMs waren nicht besser als konventionelles Machine Learning zur Maximierung der Vorhersagegenauigkeit. Sie könnten aber als ergänzender, datenschutzfreundlicher Ansatz ohne taskspezifisches Training dienen.
Kernaussagen
- 238 Teilnehmende; 75 mit vestibulärer Dysfunktion, 163 Kontrollen
- Baumbasierte Ensembles erzielten die beste Vorhersageleistung
- Lokale LLMs waren nicht überlegen, könnten aber ergänzend nutzbar sein
Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.
Kurz gefasst
Fachartikel in der Zeitschrift Audiology Research, online erschienen am 26.10.2026. Verfasst von Teru Kamogashira und 6 weiteren Autor:innen. Die Arbeit nennt 42 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).
Abstract (Originalsprache)
Background/Objectives: In-context learning enables large language models (LLMs) to perform clinical prediction without task-specific training; however, their performance on structured tabular data relative to conventional machine learning remains unclear. This exploratory study evaluated the performance, scalability, and efficiency of local LLMs for predicting caloric-test-defined vestibular dysfunction from stabilometry data.
Methods
We analyzed stabilometric data from 238 participants (75 with vestibular dysfunction, 163 controls). Forty-three local LLMs spanning multiple families were evaluated using in-context learning on a local setup using CPU-dominant inference with partial GPU offloading, without external data transmission. Performance and inference time were measured via repeated hold-out validation and compared with logistic regression (LR) and tree-based ensemble methods.
Results
The tree-based ensemble models showed the highest predictive performance. LLM performance was heterogeneous and varied by model family and size. Mid-sized models achieved accuracy comparable to LR, although their performance was not statistically distinguishable from either LR or the majority-class baseline, whereas smaller models frequently failed to produce usable binary outputs. Larger models did not consistently provide proportional gains relative to their computational cost.
Conclusions
Local LLMs did not outperform conventional machine learning for maximizing predictive accuracy on this small tabular dataset. However, they may serve as a complementary, privacy-preserving approach that enables deployment without task-specific training. Future work should validate these findings with larger datasets, more robust validation, standardized outcome definitions, and constrained decoding.
Zitieren
APA
Kamogashira, T., Koda, K., Ichijo, K., Oka, M., Kondo, K., Kinoshita, M., & Fujimoto, C. (2026). Benchmarking Local Large Language Models for Predicting Vestibular Dysfunction Based on Caloric Testing: A Comparison with Conventional Machine Learning on Stabilometry Data. Audiology Research, 16(6), 162. https://doi.org/10.3390/audiolres16060162
Vancouver
Kamogashira T, Koda K, Ichijo K, Oka M, Kondo K, Kinoshita M, et al. Benchmarking Local Large Language Models for Predicting Vestibular Dysfunction Based on Caloric Testing: A Comparison with Conventional Machine Learning on Stabilometry Data. Audiology Research. 2026;16(6):162. doi:10.3390/audiolres16060162
BibTeX
@article{Kamogashira2026,
author = {Kamogashira, Teru and Koda, Kento and Ichijo, Kentaro and Oka, Mineko and Kondo, Kenji and Kinoshita, Makoto and Fujimoto, Chisato},
title = {Benchmarking Local Large Language Models for Predicting Vestibular Dysfunction Based on Caloric Testing: A Comparison with Conventional Machine Learning on Stabilometry Data},
journal = {Audiology Research},
year = {2026},
volume = {16},
number = {6},
pages = {162},
doi = {10.3390/audiolres16060162}
}
EUVIMED