70. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V.
70. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V.
Iterative Begleitevaluation eines KI-Entwicklungsprojekts in der Pflege: Eine multizentrische, modifizierte Delphi-Studie
2Institut für künstliche Intelligenz in der Medizin (IKIM), Universitätsklinikum Essen, Essen, Germany
3LMU Klinikum München, München, Germany
4Sciendis GmbH, Wundera®-Appciendis, Leipzig, Germany
5Institut für künstliche Intelligenz in der Medizin (IKIM), Universitätsklinikum Essen, Universität Duisburg-Essen, Essen, Germany
6Stabsstelle Entwicklung und Forschung Pflege, Universitätsklinikum Essen, Essen, Germany
Text
Einleitung: Das Forschungsprojekt KIADEKU verfolgt das Ziel, einen KI-basierten Demonstrator zur Differenzierung von Dekubitus und Inkontinenz-assoziierter Dermatitis (IAD) für Pflegefachpersonen zu entwickeln. Diese Unterscheidung erweist sich in der pflegerischen Praxis aufgrund der hohen Ähnlichkeit beider Wundarten häufig als Herausforderung [1]. Um eine praxisnahe sowie wissenschaftlich fundierte Entwicklung systematisch sicherzustellen, wurde eine multizentrische Begleitevaluation durchgeführt. Ziel der Evaluation ist die Integration pflegerelevanter Fragestellungen in alle Entwicklungsphasen des Projekts sowie der kontinuierliche Einbezug von Expertenwissen und evidenz-basierten Erkenntnissen.
Methoden: Die Begleitevaluation wurde über den gesamten Projektzeitraum (3/2022–2/2025) an fünf zuvor definierten Erhebungszeitpunkten (T1–T5) mit einer gemeinsamen Hauptfragestellung und differenten Sekundärfragestellungen durchgeführt. Als Evaluationsinstrument wurde ein modifiziertes Delphi-Verfahren eingesetzt, welches Elemente des klassischen und des Gruppendelphis kombiniert [2]. Ziel der Untersuchung bestand in der Ermittlung von Konsens oder begründetem Dissens zu spezifischen Projektergebnissen. Jeder Erhebungszeitpunkt umfasste zwei Runden: eine Onlinebefragung und ein anschließendes Online-Gruppendelphi. Der Fragebogen setzte sich aus den drei Hauptkategorien „Evaluation“, „Herausforderungen“ und „Anforderungen“ zusammen. Je nach Delphi-Runde beinhalteten diese zwischen 27 bis 49 Items, die aus 10-stufigen Rating-Skalen und offenen Fragen bestanden.
Ab der 2. Erhebungsrunde wurden zusätzlich Fallvignetten integriert, um vertiefte Erkenntnisse zu gewinnen. Der Konsens zu geschlossenen Fragen wurde über den Variationskoeffizienten (VarK(x) ≤ 0,5) definiert, während offene Antworten inhaltsanalytisch ausgewertet wurden.
Ergebnisse: In T1 wurde ein Minimaldatensatz zur Klassifizierung der Wundart evaluiert und pflegerische Handlungsempfehlungen in Workflows priorisiert. In T2 und T3 bewerteten die Teilnehmer*innen die Herausforderungen in der Wunddokumentation und -versorgung teilweise heterogen. Zu wahrgenommenen Schwierigkeiten in der Dekubitus- und IAD-Versorgung am „Point of care“ in Bezug auf die Einhaltung evidenzbasierter Workflows (T4) herrschte unter den Pflegeexpert*innen weitestgehend Konsens. In der finalen Evaluationsrunde (T5) wurde das KI-Modell durch die Wundexpert*innen bewertet. Während zu den Nutzungserfahrungen ein Konsens erzielt werden konnte, wurde das Unterstützungspotenzial der App divergierend bewertet. Die in der Pilotierungsphase entwickelten Fallvignetten wurden durchgehend als realistische Darstellung praktischer Pflegesituationen eingeschätzt.
???Diskussion: In den Erhebungen der Begleitevaluation zur Entwicklung eines KI-Systems zur Unterstützung von Pflegefachpersonen in der Dekubitus- und IAD-Versorgung, wurden wichtige Erkenntnisse für die Entwicklung des Systems ermittelt. Die themenfokussierten Fragebögen sowie die Integration von Fallvignetten ermöglichten eine iterative Prozessbeurteilung und stellten sicher, dass pflege- sowie praxisrelevante Fragestellungen zu den jeweiligen Zeitpunkten des Projektes in die Lösung integriert werden konnten.
Schlussfolgerungen: Ein modifiziertes Delphi-Verfahren hat sich als effektives Instrument für die Begleitevaluation iterativer Forschungs- und Entwicklungsprojekte im Kontext Künstlicher Intelligenz bewährt. Die Kombination aus quantitativer und qualitativer Bewertung sowie die Einbindung von Fallvignetten ermöglichte eine fundierte Analyse, in einem multiprofessionellen und multizentrischen Projektteam.
Die Autoren geben an, dass kein Interessenkonflikt besteht.
Die Autoren geben an, dass kein Ethikvotum erforderlich ist.



