Text

Hintergrund/Fragestellung: Studien zeigen, dass LLM-Chatbots im Medizinstudium auch in kliniknahen Ausbildungsphasen genutzt werden, etwa zur Erklärung medizinischer Konzepte und zur Unterstützung von Diagnose- und Therapieüberlegungen. Zugleich berichten Studierende wiederkehrende Risiken und Limitationen sowie Datenschutz- und Vertraulichkeitsbedenken, insbesondere bei der Eingabe klinischer Fallinformationen [1], [2]. Die Nutzung erfolgt häufig als „stille Nutzung“ über private Accounts. Ziel ist es, die Nutzung im PJ zu erheben und Zusammenhänge mit verändertem Arbeitsverhalten zu prüfen, darunter Verschleierungstendenzen, Scham, Fehlerbewusstsein, Sicherheitsverhalten sowie der Umgang mit Unsicherheit und Halluzinationen.

Methoden: Die Erhebung erfolgt mithilfe von Selbstbeschreibungsfragebögen mit einer eigens entwickelten Testbatterie zum Nutzungsverhalten und zu psychologischen Aspekten rund um die Nutzung (Scham, stille Nutzung, Sicherheitsverhalten, Fehlerbewusstsein, Umgang mit Halluzinationen, Unsicherheitsgefühl). Ergänzend erfassen Fallvignetten unterschiedlicher Komplexität die situationsbezogene Nutzungsintention sowie die wahrgenommene Handlungssicherheit. Teilnehmende der Querschnittsuntersuchung sind Studierende im Praktischen Jahr, die das Pflichttertial der Inneren Medizin bereits absolviert haben. Die Validierung der Messinstrumente erfolgte an einer separaten Stichprobe.

Ergebnisse: Die Testbatterie umfasst acht Skalen und einen Vignettenpool und zeigt zufriedenstellende teststatistische Kennwerte. Nach itembezogener Optimierung wird sie in der Hauptstudie eingesetzt. LLM-Nutzung ist im Studium kaum curricular verankert, daher beruht stille Nutzung meist auf informell erworbenen Kompetenzen. Zudem ist „Cheating“ schwer zu detektieren; Nutzende bleiben für Verwendung und Folgen verantwortlich – was Sicherheitsverhalten und transparente Nutzungspraxis betont [3].

Diskussion: Neben den Auswirkungen der angenommenen hohen Nutzungsintensität zeigten sich zwei weitere Herausforderungen: Erstens führt die stille Nutzung zu Problemen bei der Erfassung der tatsächlichen Nutzung, da soziale Erwünschtheit die Messung wahrscheinlich verzerrt und reale Werte unterschätzt. Zweitens begünstigt die fehlende Einbettung der Themen im Studium eine unsachgemäße Nutzung, was zu Sicherheits- und Datenschutzproblemen führen kann. Eine rechtliche Einordnung betont den Bedarf an klaren institutionellen Rahmenwerken, die legitime und unzulässige Nutzungen definieren.

Take-Home-Messages: Eine Erfassung des Nutzungsverhaltens von Chatbots auf Basis von Large Language Modellen ist im Praktischen Jahr notwendig, um Sicherheitsprobleme sowie Auswirkungen auf die Kompetenzentwicklung der Studierenden sichtbar zu machen.

References

[1] Fußhöller A, Lechner F, Schlicker N, Muehlensiepen F, Mayr A, Kuhn S, Hirsch MC, Knitza J. Perceptions, Usage, and Educational Impact of ChatGPT Among Medical Students in Germany: Cross-Sectional Mixed Methods Survey. JMIR Form Res. 2025;9:e81484. DOI: 10.2196/81484
[2] Ganjavi C, Eppler M, O’Brien D, Ramacciotti LS, Ghauri MS, Anderson I, Choi J, Dwyer D, Stephens C, Shi V, Ebert M, Derby M, Yazdi B, Cacciamani GE. ChatGPT and large language models (LLMs) awareness and use. A prospective cross-sectional survey of U.S. medical students. PLOS Digital Health. 2024;3(9):e0000596. DOI: 10.1371/journal.pdig.0000596
[3] März M, Himmelbauer M, Boldt K, Oksche A. Legal aspects of generative artificial intelligence and large language models in examinations and theses. GMS J Med Educ. 2024;41(4):Doc47. DOI: 10.3205/zma001702