EUVIMEDEUVIMED entdecken
Open Access · CC BY 4.0

Benchmarking Local Large Language Models for Predicting Vestibular Dysfunction Based on Caloric Testing: A Comparison with Conventional Machine Learning on Stabilometry Data

Benchmarking lokaler Large Language Models zur Vorhersage einer Vestibularfunktionsstörung anhand des Kaloriktests: Vergleich mit konventionellem Machine Learning auf Stabilometriedaten

Teru Kamogashira, Kento Koda, Kentaro Ichijo, Mineko Oka, Kenji Kondo, Makoto Kinoshita, Chisato Fujimoto

Audiology Research · 26.10.2026 · 16 (6) · 162

DOI: 10.3390/audiolres16060162 ↗

Auf einen Blick

In einer explorativen Studie waren lokale LLMs bei der Vorhersage einer vestibulären Dysfunktion aus Stabilometriedaten heterogen. Baumbasierte Ensembles erzielten die beste Vorhersageleistung.

Fragestellung

Wie gut sagen lokale LLMs eine kaloriktestdefinierte vestibuläre Dysfunktion aus Stabilometriedaten voraus und wie schneiden sie im Vergleich zu konventionellem Machine Learning ab?

Methode

Explorative Analyse von Stabilometriedaten von 238 Teilnehmenden mit In-context Learning; 43 lokale LLMs wurden mit logistischer Regression und baumbasierten Ensembles per repeated hold-out Validierung verglichen.

Ergebnisse

238 Teilnehmende; 75 mit vestibulärer Dysfunktion, 163 Kontrollen. Baumbasierte Ensembles zeigten die höchste Vorhersageleistung. Mittlere Modelle erreichten eine Accuracy ähnlich wie LR, aber ohne statistisch klaren Unterschied; kleinere Modelle lieferten oft keine brauchbaren binären Ausgaben.

Einschränkungen

Kleines tabellarisches Datenset; externe Datenübertragung ausgeschlossen; kleinere Modelle oft ohne brauchbare binäre Outputs.

Schlussfolgerung der Autor:innen

Lokale LLMs waren nicht besser als konventionelles Machine Learning zur Maximierung der Vorhersagegenauigkeit. Sie könnten aber als ergänzender, datenschutzfreundlicher Ansatz ohne taskspezifisches Training dienen.

Kernaussagen

  • 238 Teilnehmende; 75 mit vestibulärer Dysfunktion, 163 Kontrollen
  • Baumbasierte Ensembles erzielten die beste Vorhersageleistung
  • Lokale LLMs waren nicht überlegen, könnten aber ergänzend nutzbar sein

Deutsche Zusammenfassung: KI-gestützt aus dem Original-Abstract erstellt; alle Zahlen wurden automatisch mit dem Original abgeglichen. Maßgeblich ist der Original-Abstract.

Kurz gefasst

Fachartikel in der Zeitschrift Audiology Research, online erschienen am 26.10.2026. Verfasst von Teru Kamogashira und 6 weiteren Autor:innen. Die Arbeit nennt 42 Literaturangaben. Der Volltext ist frei zugänglich (Open Access, CC BY 4.0).

Auf einen BlickAbstractBibliografische AngabenZitierenVerwandte Studien

Abstract (Originalsprache)

Background/Objectives: In-context learning enables large language models (LLMs) to perform clinical prediction without task-specific training; however, their performance on structured tabular data relative to conventional machine learning remains unclear. This exploratory study evaluated the performance, scalability, and efficiency of local LLMs for predicting caloric-test-defined vestibular dysfunction from stabilometry data.

Methods

We analyzed stabilometric data from 238 participants (75 with vestibular dysfunction, 163 controls). Forty-three local LLMs spanning multiple families were evaluated using in-context learning on a local setup using CPU-dominant inference with partial GPU offloading, without external data transmission. Performance and inference time were measured via repeated hold-out validation and compared with logistic regression (LR) and tree-based ensemble methods.

Results

The tree-based ensemble models showed the highest predictive performance. LLM performance was heterogeneous and varied by model family and size. Mid-sized models achieved accuracy comparable to LR, although their performance was not statistically distinguishable from either LR or the majority-class baseline, whereas smaller models frequently failed to produce usable binary outputs. Larger models did not consistently provide proportional gains relative to their computational cost.

Conclusions

Local LLMs did not outperform conventional machine learning for maximizing predictive accuracy on this small tabular dataset. However, they may serve as a complementary, privacy-preserving approach that enables deployment without task-specific training. Future work should validate these findings with larger datasets, more robust validation, standardized outcome definitions, and constrained decoding.

Zitieren

APA

Kamogashira, T., Koda, K., Ichijo, K., Oka, M., Kondo, K., Kinoshita, M., & Fujimoto, C. (2026). Benchmarking Local Large Language Models for Predicting Vestibular Dysfunction Based on Caloric Testing: A Comparison with Conventional Machine Learning on Stabilometry Data. Audiology Research, 16(6), 162. https://doi.org/10.3390/audiolres16060162

Vancouver

Kamogashira T, Koda K, Ichijo K, Oka M, Kondo K, Kinoshita M, et al. Benchmarking Local Large Language Models for Predicting Vestibular Dysfunction Based on Caloric Testing: A Comparison with Conventional Machine Learning on Stabilometry Data. Audiology Research. 2026;16(6):162. doi:10.3390/audiolres16060162

BibTeX
@article{Kamogashira2026,
  author = {Kamogashira, Teru and Koda, Kento and Ichijo, Kentaro and Oka, Mineko and Kondo, Kenji and Kinoshita, Makoto and Fujimoto, Chisato},
  title = {Benchmarking Local Large Language Models for Predicting Vestibular Dysfunction Based on Caloric Testing: A Comparison with Conventional Machine Learning on Stabilometry Data},
  journal = {Audiology Research},
  year = {2026},
  volume = {16},
  number = {6},
  pages = {162},
  doi = {10.3390/audiolres16060162}
}
Kostenlos starten →