<?xml version="1.0" encoding="iso-8859-1" standalone="no"?>
<!DOCTYPE GmsArticle SYSTEM "http://www.egms.de/dtd/2.0.34/GmsArticle.dtd">
<GmsArticle xmlns:xlink="http://www.w3.org/1999/xlink">
  <MetaData>
    <Identifier>25teg17</Identifier>
    <IdentifierDoi>10.3205/25teg17</IdentifierDoi>
    <IdentifierUrn>urn:nbn:de:0183-25teg173</IdentifierUrn>
    <ArticleType>Meeting Abstract</ArticleType>
    <TitleGroup>
      <Title language="de">Menschenzentrierte XAI in der Altenpflege: Erste Learnings aus der Entwicklung eines partizipativen Frameworks</Title>
    </TitleGroup>
    <CreatorList>
      <Creator>
        <PersonNames>
          <Lastname>Hermann</Lastname>
          <LastnameHeading>Hermann</LastnameHeading>
          <Firstname>Julia</Firstname>
          <Initials>J</Initials>
        </PersonNames>
        <Address>Hochschule Ruhr West, L&#252;tzowstra&#223;e 5, 46236 Bottrop, Deutschland<Affiliation>Hochschule Ruhr West, Bottrop, Deutschland</Affiliation></Address>
        <Email>julia.hermann&#64;hs-ruhrwest.de</Email>
        <Creatorrole corresponding="yes" presenting="no">author</Creatorrole>
      </Creator>
      <Creator>
        <PersonNames>
          <Lastname>Hey</Lastname>
          <LastnameHeading>Hey</LastnameHeading>
          <Firstname>Celine-Chiara</Firstname>
          <Initials>CC</Initials>
        </PersonNames>
        <Address>
          <Affiliation>Hochschule Ruhr West, Bottrop, Deutschland</Affiliation>
        </Address>
        <Email>celine-chiara.hey&#64;stud.hs-ruhrwest.de</Email>
        <Creatorrole corresponding="no" presenting="no">author</Creatorrole>
      </Creator>
      <Creator>
        <PersonNames>
          <Lastname>Dogang&#252;n</Lastname>
          <LastnameHeading>Dogang&#252;n</LastnameHeading>
          <Firstname>Ayseg&#252;l</Firstname>
          <Initials>A</Initials>
          <AcademicTitle>Prof. Dr.</AcademicTitle>
        </PersonNames>
        <Address>
          <Affiliation>Hochschule Ruhr West, Bottrop, Deutschland</Affiliation>
        </Address>
        <Email>ayseguel.doganguen&#64;hs-ruhrwest.de</Email>
        <Creatorrole corresponding="no" presenting="yes">author</Creatorrole>
      </Creator>
    </CreatorList>
    <PublisherList>
      <Publisher>
        <Corporation>
          <Corporatename>German Medical Science GMS Publishing House</Corporatename>
        </Corporation>
        <Address>D&#252;sseldorf</Address>
      </Publisher>
    </PublisherList>
    <SubjectGroup>
      <SubjectheadingDDB>610</SubjectheadingDDB>
    </SubjectGroup>
    <DatePublishedList>
      <DatePublished>20251222</DatePublished>
    </DatePublishedList>
    <Language>germ</Language>
    <License license-type="open-access" xlink:href="http://creativecommons.org/licenses/by/4.0/">
      <AltText language="en">This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License.</AltText>
      <AltText language="de">Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung).</AltText>
    </License>
    <SourceGroup>
      <Meeting>
        <MeetingId>M0617</MeetingId>
        <MeetingSequence>17</MeetingSequence>
        <MeetingName>9. Fachtagung Technik &#8211; Ethik &#8211; Gesundheit</MeetingName>
        <MeetingTitle>K&#252;nstliche Intelligenz: Die digitale Zukunft in der Pflege gestalten</MeetingTitle>
        <MeetingSession>Akzeptanz von und Erfahrungen mit digitalen M&#246;glichkeiten</MeetingSession>
        <MeetingCity>N&#252;rnberg</MeetingCity>
        <MeetingDate>
          <DateFrom>20250520</DateFrom>
          <DateTo>20250521</DateTo>
        </MeetingDate>
      </Meeting>
    </SourceGroup>
    <ArticleNo>17</ArticleNo>
  </MetaData>
  <OrigData>
    <TextBlock name="Text" linked="yes">
      <MainHeadline>Text</MainHeadline><SubHeadline>Einleitung</SubHeadline><Pgraph>K&#252;nstliche Intelligenz (KI) birgt gro&#223;es Potenzial f&#252;r die Altenpflege, etwa durch die Automatisierung von Routineaufgaben, die Analyse von Sensordaten und die Generierung umsetzbarer Empfehlungen. Ziel ist eine h&#246;here Effizienz, damit Pflegekr&#228;fte sich st&#228;rker auf zwischenmenschliche Aspekte konzentrieren k&#246;nnen <TextLink reference="1"></TextLink>, <TextLink reference="2"></TextLink>, <TextLink reference="3"></TextLink>. Die Integration in bestehende Arbeitsabl&#228;ufe ist jedoch herausfordernd, da Fehlinterpretationen oder Systemfehler schwerwiegende Folgen haben k&#246;nnen. Vertrauen und Transparenz sind daher entscheidend. Erkl&#228;rbare KI (XAI) adressiert diese Herausforderungen mit transparenten, nutzungsnahen Systemen &#8211; ein Aspekt, der in der XAI-Entwicklung h&#228;ufig vernachl&#228;ssigt wird. Besonders in sicherheitskritischen Bereichen wie der Altenpflege erschweren unterschiedliche mentale Modelle, Begriffe und Erwartungen zwischen Pflegekr&#228;ften und Entwickler:innen die Umsetzung <TextLink reference="4"></TextLink>, <TextLink reference="5"></TextLink>. Missverst&#228;ndnisse beeintr&#228;chtigen Vertrauen und Nutzbarkeit <TextLink reference="6"></TextLink>. Partizipative Methoden wie Personas, Customer Journey Mapping (CJM) und szenariobasiertes Prototyping f&#246;rdern das Verst&#228;ndnis von Nutzendenbed&#252;rfnissen und helfen, divergierende Arbeitsabl&#228;ufe zu &#252;berbr&#252;cken <TextLink reference="7"></TextLink>, <TextLink reference="8"></TextLink>, <TextLink reference="9"></TextLink>, <TextLink reference="10"></TextLink>. Ihre Anwendung auf XAI in der Pflege ist bislang kaum untersucht <TextLink reference="11"></TextLink>. Dieses Paper stellt das HCXAI-Framework vor &#8211; einen partizipativen Designansatz, der bew&#228;hrte Methoden anpasst, um intelligente Benutzungsschnittstellen (IUIs) mit den Arbeitsroutinen in der Pflege zu verkn&#252;pfen. Forschungsleitend ist die Frage: Wie k&#246;nnen partizipative Methoden eine gemeinsame Kommunikationsbasis schaffen, um die Entwicklung erkl&#228;rbarer, pflegekompatibler KI-Systeme zu f&#246;rdern&#63; Die Studie basiert auf interdisziplin&#228;ren Workshops und ethnografischer Feldforschung und zeigt, wie partizipative Methoden kritische Nutzendenanforderungen sichtbar machen und vertrauensw&#252;rdige, adaptive KI-L&#246;sungen unterst&#252;tzen.</Pgraph><SubHeadline>Verwandte Arbeiten</SubHeadline><Pgraph>Erkl&#228;rbare KI (XAI) macht komplexe Modelle interpretierbar und umsetzbar &#8211; besonders wichtig in sicherheitskritischen Bereichen mit nicht-technischen Nutzenden <TextLink reference="1"></TextLink>, <TextLink reference="12"></TextLink>. W&#228;hrend fr&#252;he XAI-Forschung algorithmische Transparenz fokussierte, betonen aktuelle Ans&#228;tze kontextsensitive Erkl&#228;rungen, die auf Nutzungsabl&#228;ufe und bereichsspezifische Entscheidungsprozesse abgestimmt sind <TextLink reference="13"></TextLink>, <TextLink reference="14"></TextLink>, <TextLink reference="15"></TextLink>. Anpassungsf&#228;hige, kontrastive Erkl&#228;rungen f&#246;rdern Vertrauen, indem sie zeigen, wie Systeme entscheiden, nicht nur warum <TextLink reference="16"></TextLink>, <TextLink reference="17"></TextLink>. Lokale Erkl&#228;rungen beleuchten Einzelentscheidungen, globale Erkl&#228;rungen liefern Muster &#8211; beide sind in der Altenpflege essenziell <TextLink reference="18"></TextLink>, <TextLink reference="19"></TextLink>. Partizipative Methoden aus der Mensch-Computer-Interaktion (HCI) beziehen Nutzende wirksam ins technische Design ein, besonders im interdisziplin&#228;ren Kontext. Co-Design-Workshops f&#246;rdern gemeinsames Verst&#228;ndnis und sorgen f&#252;r robuste, verst&#228;ndliche Systeme. Mucha et al. <TextLink reference="6"></TextLink> zeigen, wie Interface-Skizzen interdisziplin&#228;re L&#252;cken schlie&#223;en und klinisch nutzbare Erkenntnisse generieren. Die Gestaltung effektiver Erkl&#228;rungsschnittstellen bleibt jedoch herausfordernd. Shneiderman <TextLink reference="19"></TextLink> betont, dass Mensch-Maschine-Interaktion nicht menschliche Kommunikation imitieren sollte, sondern deren Besonderheiten nutzt. Pr&#228;gnante, relevante Erkl&#228;rungen sind insbesondere in sicherheitskritischen Kontexten bevorzugt <TextLink reference="13"></TextLink>. Moderne KI, insbesondere maschinelles Lernen, erfordert Post-hoc-Techniken wie Merkmalszuordnung oder beispielbasierte Erkl&#228;rungen (<TextLink reference="2"></TextLink>, <TextLink reference="18"></TextLink>, Martens 2014). Diese liefern wertvolle Einblicke, adressieren jedoch oft nicht die Bed&#252;rfnisse nicht-technischer Nutzender. Szenariobasierte Ans&#228;tze wie bei Ehsan et al. <TextLink reference="20"></TextLink> richten technische Funktionalit&#228;ten an den Arbeitsabl&#228;ufen der Nutzenden aus und f&#246;rdern deren Verst&#228;ndnis. Trotz Fortschritten bleibt die Anwendung partizipativer Methoden in der Pflege untererforscht. Werkzeuge wie CJM strukturieren interdisziplin&#228;re Diskussionen und decken prozessuale Engp&#228;sse auf (<TextLink reference="1"></TextLink>, Wang 2019). Hemmer et al. <TextLink reference="21"></TextLink> zeigen, wie Delegationsstrategien zwischen KI und Menschen Vertrauen und Leistung verbessern und gemeinsame Entscheidungen unterst&#252;tzen. Partizipative Methoden entsprechen den Prinzipien des User-Centered Design (UCD) gem&#228;&#223; ISO 9241-210:2019. UCD umfasst iterative Phasen zur Kontextanalyse, Anforderungsspezifikation, L&#246;sungsgestaltung und Evaluation. Erweiterte Ans&#228;tze wie DoReMi <TextLink reference="22"></TextLink> oder fragengetriebene Designs <TextLink reference="23"></TextLink> binden Nutzende st&#228;rker ein, bleiben aber oft auf Feedback beschr&#228;nkt. Das HCXAI-Framework schlie&#223;t diese L&#252;cke durch kontinuierliche Zusammenarbeit und geteiltes Verst&#228;ndnis im gesamten Designprozess. Die Methoden sind nicht nur f&#252;r die Altenpflege relevant, sondern auch auf andere sicherheitskritische Bereiche wie das Gesundheitswesen, den Katastrophenschutz oder die Industrie &#252;bertragbar.</Pgraph><SubHeadline>Methoden</SubHeadline><Pgraph>Unser partizipativer Forschungsansatz zielte darauf ab, ein auf die Bed&#252;rfnisse von Pflegekr&#228;ften zugeschnittenes XAI-Framework zu entwickeln, das Kommunikations- und Designl&#252;cken zwischen Pflege und Technik &#252;berbr&#252;ckt. Der Schwerpunkt lag auf kontextsensitiven Erkl&#228;rungen, benutzendenzentriertem Design und interdisziplin&#228;rer Zusammenarbeit. Aufbauend auf fr&#252;heren Arbeiten zu partizipativen Methoden in der XAI <TextLink reference="7"></TextLink>, <TextLink reference="10"></TextLink> umfasste der Prozess mehrere Workshops und eine ethnografische Feldstudie (siehe Tabelle 1 <ImgLink imgNo="1" imgType="table" />). Angepasste Tools wie Personas, Customer Journey Mapping (CJM) und comicbasierte Szenarien unterst&#252;tzten die Entwicklung gemeinsamer Verst&#228;ndnisse und prototypischer L&#246;sungen. Techniken wie das Skizzieren von Prototypen halfen, abstrakte Konzepte zu visualisieren und disziplin&#228;re Barrieren zu &#252;berwinden.</Pgraph><Pgraph>Die Forschung begann mit einem Anforderungsworkshop und einer kontextbezogenen Analyse, deren Erkenntnisse in die Gestaltung und Adaption der Methoden einflossen. Drei Workshops wurden &#8211; teils digital, teils analog &#8211; mit insgesamt 14 Teilnehmenden (Pflegekr&#228;fte und technische Fachpersonen) durchgef&#252;hrt. Die Sitzungen dauerten jeweils 2&#8211;4 Stunden und wurden von erfahrenen Forschenden moderiert. Aufeinander aufbauende Workshopzyklen erm&#246;glichten es, Tools iterativ zu verfeinern, terminologische L&#252;cken zu schlie&#223;en und Prototypen gemeinsam zu entwickeln.</Pgraph><Pgraph>Erhoben wurden Workshop-Protokolle, Beobachtungsnotizen, visuelle Artefakte und Teilnehmendenfeedback. Eine qualitative Inhaltsanalyse nach Mayring <TextLink reference="24"></TextLink> kombinierte deduktive Kategorien (z. B. Benutzendenfreundlichkeit, Transparenz) mit induktiven Themen, die im Verlauf der Analyse entstanden. Die Triangulation mehrerer Datenquellen sowie der Abgleich von Transkripten, Artefakten und Notizen erh&#246;hten Validit&#228;t und Tiefe der Ergebnisse. Iterative Feedbackrunden mit den Teilnehmenden sicherten deren R&#252;ckhalt und stellten Passung zu ihren Erwartungen sicher.</Pgraph><SubHeadline>Ergebnisse und Diskussion</SubHeadline><Pgraph>Die eingesetzten partizipativen Methoden f&#246;rderten gegenseitiges Verst&#228;ndnis und f&#252;hrten zu umsetzbaren Ergebnissen. Der Anforderungsworkshop identifizierte zentrale Kommunikationsbarrieren, etwa unterschiedliche Denkmodelle und Fachsprachen, und verdeutlichte die Bedeutung partizipativer Ans&#228;tze zur Bew&#228;ltigung interdisziplin&#228;rer Herausforderungen. Die kontextbezogene Analyse erg&#228;nzte dies durch praxisnahe Einblicke in Pflegeprozesse, etwa Schichtplanung und Dokumentation, und zeigte potenzielle Einsatzbereiche f&#252;r KI. Zwar f&#246;rderte sie nicht direkt die Zusammenarbeit, lieferte aber wichtige Grundlagen f&#252;r die weiteren Workshops.</Pgraph><Pgraph>Persona- und CJM-Workshops waren entscheidend f&#252;r die Perspektivangleichung. Durch strukturierte Dialoge und visuelle Aufbereitung konnten Engp&#228;sse wie der verz&#246;gerte Zugriff auf Patientendaten sichtbar gemacht werden. Komplexe Pflegeabl&#228;ufe erschwerten teilweise den Fortschritt, insbesondere bei rollenspezifischen Wissensunterschieden. Vorlagen und gezielte Moderation &#8211; wie von Hemmer et al. empfohlen <TextLink reference="21"></TextLink> &#8211; k&#246;nnten hier k&#252;nftig unterst&#252;tzen. Personas st&#228;rkten die Zusammenarbeit, indem sie Pflegeberufe greifbar machten, das Engagement erh&#246;hten und technische Diskussionen kontextualisierten &#8211; im Einklang mit den Erkenntnissen von Weitz et al. <TextLink reference="7"></TextLink>.</Pgraph><Pgraph>Der Prototyping-Workshop best&#228;tigte die N&#252;tzlichkeit des Frameworks zur Entwicklung praxisnaher Designartefakte. Papierprototypen verkn&#252;pften Pflegeabl&#228;ufe mit kontextsensitiven KI-Erkl&#228;rungen. Comic-basierte Szenarien halfen, abstrakte Konzepte zu veranschaulichen; gemeinsames Skizzieren &#252;berf&#252;hrte technische Ideen in nutzernahe Prototypen. Dabei zeigte sich: Zu detaillierte Entw&#252;rfe k&#246;nnen nicht-technische Teilnehmende &#252;berfordern <TextLink reference="7"></TextLink>. Die Ergebnisse unterstreichen &#8211; in &#220;bereinstimmung mit fr&#252;heren Co-Design-Studien in sicherheitskritischen Kontexten &#8211; die Relevanz visueller Hilfsmittel und strukturierter Dialoge <TextLink reference="25"></TextLink>.</Pgraph><Pgraph>Kontextsensitive Erkl&#228;rungen, zugeschnitten auf konkrete Szenarien, erwiesen sich als zentral f&#252;r Vertrauen und Benutzendenfreundlichkeit. Die Differenzierung lokaler (situativer) und globaler (schulungsbezogener) Erkl&#228;rungen folgt den Empfehlungen von Miller <TextLink reference="13"></TextLink>. Feedbackschleifen zur Verfeinerung von KI-Empfehlungen f&#246;rderten Vertrauen und Anpassbarkeit <TextLink reference="16"></TextLink>. Terminologiel&#252;cken blieben eine Herausforderung. Visuelle Tools wie Personas und CJMs milderten Missverst&#228;ndnisse, k&#246;nnten aber durch Glossare oder strukturierte Leitf&#228;den erg&#228;nzt werden <TextLink reference="8"></TextLink>. Insgesamt zeigte das HCXAI-Framework hohe Anpassungsf&#228;higkeit und Effektivit&#228;t in interdisziplin&#228;ren Settings. Analoge Workshops &#252;berwanden Kommunikationsbarrieren besser als digitale Formate, die durch technische Einschr&#228;nkungen limitiert waren. K&#252;nftige Anwendungen sollten flexibel und iterativ ausgestaltet werden, um unterschiedlichen Teilnehmendenbed&#252;rfnissen gerecht zu werden.</Pgraph><SubHeadline>Fazit und Ausblick</SubHeadline><Pgraph>Diese Studie stellte das HCXAI-Framework vor, das zeigt, wie partizipative Methoden eine gemeinsame Kommunikationsbasis schaffen und das gegenseitige Verst&#228;ndnis zwischen Pflegekr&#228;ften und technischen Fachpersonen f&#246;rdern k&#246;nnen. Durch angepasste Ans&#228;tze wie Customer Journey Mapping, Personas, szenariobasiertes Design und Papierprototyping wurden technische L&#246;sungen gezielt mit Pflegearbeitsabl&#228;ufen verzahnt und interdisziplin&#228;re L&#252;cken geschlossen. Die Ergebnisse verdeutlichen die Relevanz einer geteilten Kommunikationsgrundlage im partizipativen Designprozess. Fr&#252;he Phasen wie Anforderungsworkshops und kontextbezogene Analysen verankerten die Methodenauswahl in realen Praxisanforderungen. Werkzeuge wie Personas und kollaboratives Skizzieren &#252;bersetzten technische Konzepte in greifbare Pflegeszenarien, st&#228;rkten das Vertrauen und f&#246;rderten aktives Engagement. Erkl&#228;rbarkeit muss dabei &#252;ber algorithmische Transparenz hinausgehen und kontextsensitive, handlungsrelevante Einsichten liefern, die sich nahtlos in bestehende Abl&#228;ufe integrieren lassen.</Pgraph><Pgraph>Zuk&#252;nftige Forschung sollte die langfristige Wirksamkeit des Frameworks in realen Pflegeumgebungen evaluieren &#8211; etwa im Hinblick auf Effizienz, Vertrauen und Akzeptanz. Die Beteiligung weiterer Stakeholder, darunter Angeh&#246;rige, Verwaltungsangestellte und Bewohner:innen, k&#246;nnte ein umfassenderes Bild des Pflege&#246;kosystems erm&#246;glichen. Eine Verfeinerung von Methoden wie dem CJM, um Verst&#228;ndlichkeit und technische Tiefe besser auszubalancieren, kann die Wirkung partizipativer Ans&#228;tze weiter steigern.</Pgraph><Pgraph>Die &#220;bertragung des Frameworks auf andere sicherheitskritische Bereiche wie Gesundheitsdiagnostik oder Katastrophenschutz bietet Chancen zur Validierung seiner Anpassungsf&#228;higkeit. Die Ableitung praxisnaher Gestaltungsrichtlinien aus dieser und k&#252;nftigen Studien kann Forschende und Praktiker:innen bei der Entwicklung kontextsensitiver, benutzungsfreundlicher und interdisziplin&#228;r anschlussf&#228;higer XAI-Systeme unterst&#252;tzen. Das HCXAI-Framework bietet somit eine robuste Grundlage f&#252;r vertrauensw&#252;rdige, adaptive KI-Systeme, die technische Leistungsf&#228;higkeit und menschliche Bed&#252;rfnisse erfolgreich integrieren.</Pgraph></TextBlock>
    <References linked="yes">
      <Reference refNo="1">
        <RefAuthor>Hughes R</RefAuthor>
        <RefAuthor>Edmond C</RefAuthor>
        <RefAuthor>Wells L</RefAuthor>
        <RefAuthor></RefAuthor>
        <RefTitle>EXplainable AI (XAI): An introduction to the XAI landscape with practical examples</RefTitle>
        <RefYear>2020</RefYear>
        <RefBookTitle>SA &#8217;20: SIGGRAPH Asia 2020; 2020 Dec 4-13</RefBookTitle>
        <RefPage></RefPage>
        <RefTotal>Hughes R, Edmond C, Wells L, et al. EXplainable AI (XAI): An introduction to the XAI landscape with practical examples. In: SA &#8217;20: SIGGRAPH Asia 2020; 2020 Dec 4-13. ACM; 2020. DOI: 10.1145&#47;3415263.3419166</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1145&#47;3415263.3419166</RefLink>
      </Reference>
      <Reference refNo="2">
        <RefAuthor>Guidotti R</RefAuthor>
        <RefAuthor>Monreale A</RefAuthor>
        <RefAuthor>Ruggieri S</RefAuthor>
        <RefAuthor>Turini F</RefAuthor>
        <RefAuthor>Giannotti F</RefAuthor>
        <RefAuthor>Pedreschi D</RefAuthor>
        <RefTitle>A survey of methods for explaining black box models</RefTitle>
        <RefYear>2018</RefYear>
        <RefJournal>ACM computing surveys (CSUR)</RefJournal>
        <RefPage>1-42</RefPage>
        <RefTotal>Guidotti R, Monreale A, Ruggieri S, Turini F, Giannotti F, Pedreschi D. A survey of methods for explaining black box models. ACM computing surveys (CSUR). 2018;51(5):1-42.</RefTotal>
      </Reference>
      <Reference refNo="3">
        <RefAuthor>Wolf CT</RefAuthor>
        <RefTitle>Explainability scenarios: Towards scenario-based XAI design</RefTitle>
        <RefYear>2019</RefYear>
        <RefBookTitle>IUI &#8217;19: 24th International Conference on Intelligent User Interfaces; 2019 Mar 16-20; Marina del Ray, CA, USA</RefBookTitle>
        <RefPage>252-7</RefPage>
        <RefTotal>Wolf CT. Explainability scenarios: Towards scenario-based XAI design. In: IUI &#8217;19: 24th International Conference on Intelligent User Interfaces; 2019 Mar 16-20; Marina del Ray, CA, USA. ACM; 2019. p. 252-7. DOI: 10.1145&#47;3301275.3302317</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1145&#47;3301275.3302317</RefLink>
      </Reference>
      <Reference refNo="4">
        <RefAuthor>Rouse WB</RefAuthor>
        <RefAuthor>Morris NM</RefAuthor>
        <RefTitle>On looking into the black box: Prospects and limits in the search for mental models</RefTitle>
        <RefYear>1986</RefYear>
        <RefJournal>Psychological Bulletin</RefJournal>
        <RefPage>349-63</RefPage>
        <RefTotal>Rouse WB, Morris NM. On looking into the black box: Prospects and limits in the search for mental models. Psychological Bulletin. 1986;100(3):349-63.</RefTotal>
      </Reference>
      <Reference refNo="5">
        <RefAuthor>Holzinger A</RefAuthor>
        <RefAuthor>Langs G</RefAuthor>
        <RefAuthor>Denk H</RefAuthor>
        <RefAuthor>Zatloukal K</RefAuthor>
        <RefAuthor>M&#252;ller H</RefAuthor>
        <RefTitle>Causability and explainability of artificial intelligence in medicine</RefTitle>
        <RefYear>2019</RefYear>
        <RefJournal>Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery</RefJournal>
        <RefPage>e1312</RefPage>
        <RefTotal>Holzinger A, Langs G, Denk H, Zatloukal K, M&#252;ller H. Causability and explainability of artificial intelligence in medicine. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery. 2019;9(4):e1312.</RefTotal>
      </Reference>
      <Reference refNo="6">
        <RefAuthor>Mucha H</RefAuthor>
        <RefAuthor>Robert S</RefAuthor>
        <RefAuthor>Breitschwerdt R</RefAuthor>
        <RefAuthor>Fellmann M</RefAuthor>
        <RefTitle>Usability of clinical decision support systems</RefTitle>
        <RefYear>2023</RefYear>
        <RefJournal>Zeitschrift f&#252;r Arbeitswissenschaft</RefJournal>
        <RefPage>92-101</RefPage>
        <RefTotal>Mucha H, Robert S, Breitschwerdt R, Fellmann M. Usability of clinical decision support systems. Zeitschrift f&#252;r Arbeitswissenschaft. 2023;77:92-101.</RefTotal>
      </Reference>
      <Reference refNo="7">
        <RefAuthor>Weitz K</RefAuthor>
        <RefAuthor>Schlagowski R</RefAuthor>
        <RefAuthor>Andr&#233; E</RefAuthor>
        <RefAuthor>M&#228;nniste M</RefAuthor>
        <RefAuthor>George C</RefAuthor>
        <RefTitle>Explaining It Your Way - Findings from a Co-Creative Design Workshop on Designing XAI Applications with AI End-Users from the Public Sector</RefTitle>
        <RefYear>2024</RefYear>
        <RefBookTitle>CHI &#8217;24: CHI Conference on Human Factors in Computing Systems; 2024 May 11-16; Honolulu, HI, USA</RefBookTitle>
        <RefPage></RefPage>
        <RefTotal>Weitz K, Schlagowski R, Andr&#233; E, M&#228;nniste M, George C. Explaining It Your Way - Findings from a Co-Creative Design Workshop on Designing XAI Applications with AI End-Users from the Public Sector. In: CHI &#8217;24: CHI Conference on Human Factors in Computing Systems; 2024 May 11-16; Honolulu, HI, USA. ACM; 2024. DOI: 10.1145&#47;3613904.3642563</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1145&#47;3613904.3642563</RefLink>
      </Reference>
      <Reference refNo="8">
        <RefAuthor>Delgado F</RefAuthor>
        <RefAuthor></RefAuthor>
        <RefTitle>Stakeholder Participation in AI: Beyond &#8220;Add Diverse Stakeholders and Stir&#8221;</RefTitle>
        <RefYear></RefYear>
        <RefBookTitle>NeurIPS 2021. Thirty-Fifth Annual Conference on Neural Information Processing Systems; 2021 Dec 6-14.</RefBookTitle>
        <RefPage></RefPage>
        <RefTotal>Delgado F, et al. Stakeholder Participation in AI: Beyond &#8220;Add Diverse Stakeholders and Stir&#8221;. In: NeurIPS 2021. Thirty-Fifth Annual Conference on Neural Information Processing Systems; 2021 Dec 6-14.</RefTotal>
      </Reference>
      <Reference refNo="9">
        <RefAuthor>Stickdorn M</RefAuthor>
        <RefAuthor>Schneider J</RefAuthor>
        <RefTitle></RefTitle>
        <RefYear>2011</RefYear>
        <RefBookTitle>This is Service Design Thinking: Basics, Tools, Cases</RefBookTitle>
        <RefPage></RefPage>
        <RefTotal>Stickdorn M, Schneider J. This is Service Design Thinking: Basics, Tools, Cases. Wiley; 2011.</RefTotal>
      </Reference>
      <Reference refNo="10">
        <RefAuthor>Mucha H</RefAuthor>
        <RefAuthor>Robert S</RefAuthor>
        <RefAuthor>Mevissen D</RefAuthor>
        <RefAuthor>Jacobi R</RefAuthor>
        <RefAuthor>Meyer K</RefAuthor>
        <RefAuthor>Heusler W</RefAuthor>
        <RefAuthor></RefAuthor>
        <RefTitle>Co-Design Futures for AI and Space: A Workbook Sprint</RefTitle>
        <RefYear></RefYear>
        <RefBookTitle>CHI EA &#8217;20: Extended Abstracts of the 2020 CHI Conference on Human Factors in Computing Systems; 2020 Apr 25-30; Honolulu, HI, USA</RefBookTitle>
        <RefPage></RefPage>
        <RefTotal>Mucha H, Robert S, Mevissen D, Jacobi R, Meyer K, Heusler W, et al. Co-Design Futures for AI and Space: A Workbook Sprint. In: CHI EA &#8217;20: Extended Abstracts of the 2020 CHI Conference on Human Factors in Computing Systems; 2020 Apr 25-30; Honolulu, HI, USA. ACM; 2020. DOI: 10.1145&#47;3334480.3375203</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1145&#47;3334480.3375203</RefLink>
      </Reference>
      <Reference refNo="11">
        <RefAuthor>Wolf C</RefAuthor>
        <RefTitle>Explainability scenarios: towards scenario-based XAI design</RefTitle>
        <RefYear>2019</RefYear>
        <RefBookTitle>CHI &#8217;19: CHI Conference on Human Factors in Computing Systems; 2019 May 4-9; Glasgow, Scotland, UK</RefBookTitle>
        <RefPage>252-7</RefPage>
        <RefTotal>Wolf C. Explainability scenarios: towards scenario-based XAI design. In: CHI &#8217;19: CHI Conference on Human Factors in Computing Systems; 2019 May 4-9; Glasgow, Scotland, UK. ACM; 2019. p. 252-7. DOI: 10.1145&#47;3301275.330231</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1145&#47;3301275.330231</RefLink>
      </Reference>
      <Reference refNo="12">
        <RefAuthor>Vilone G</RefAuthor>
        <RefAuthor>Longo L</RefAuthor>
        <RefTitle>Explainable Artificial Intelligence: A Systematic Review &#91;Preprint&#93;</RefTitle>
        <RefYear>2020</RefYear>
        <RefJournal>arXiv</RefJournal>
        <RefPage></RefPage>
        <RefTotal>Vilone G, Longo L. Explainable Artificial Intelligence: A Systematic Review &#91;Preprint&#93;. arXiv. 2020. DOI: 10.48550&#47;arXiv.2006.00093</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.48550&#47;arXiv.2006.00093</RefLink>
      </Reference>
      <Reference refNo="13">
        <RefAuthor>Miller T</RefAuthor>
        <RefTitle>Explanation in Artificial Intelligence: Insights from the Social Sciences</RefTitle>
        <RefYear>2019</RefYear>
        <RefJournal>Artificial Intelligence</RefJournal>
        <RefPage>1-38</RefPage>
        <RefTotal>Miller T. Explanation in Artificial Intelligence: Insights from the Social Sciences. Artificial Intelligence. 2019;267:1-38. DOI: 10.1016&#47;j.artint.2018.07.007</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1016&#47;j.artint.2018.07.007</RefLink>
      </Reference>
      <Reference refNo="14">
        <RefAuthor>Brennen A</RefAuthor>
        <RefTitle>What do people really want when they say they want explainable AI&#63;</RefTitle>
        <RefYear>2020</RefYear>
        <RefBookTitle>CHI EA &#8217;20: Extended Abstracts of the 2020 CHI Conference on Human Factors in Computing Systems; 2020 Apr 25-30; Honolulu, HI, USA</RefBookTitle>
        <RefPage></RefPage>
        <RefTotal>Brennen A. What do people really want when they say they want explainable AI&#63; In: CHI EA &#8217;20: Extended Abstracts of the 2020 CHI Conference on Human Factors in Computing Systems; 2020 Apr 25-30; Honolulu, HI, USA. ACM; 2020. DOI: 10.1145&#47;3334480.3383047</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1145&#47;3334480.3383047</RefLink>
      </Reference>
      <Reference refNo="15">
        <RefAuthor>Schmidt A</RefAuthor>
        <RefTitle>Interactive Human-Centered Artificial Intelligence: A Definition and Research Challenges</RefTitle>
        <RefYear>2020</RefYear>
        <RefBookTitle>AVI &#39;20: Proceedings of the 2020 International Conference on Advanced Visual Interfaces; 2020 Sep 28 - Oct 2; Salerno, Italy</RefBookTitle>
        <RefPage></RefPage>
        <RefTotal>Schmidt A. Interactive Human-Centered Artificial Intelligence: A Definition and Research Challenges. In: AVI &#39;20: Proceedings of the 2020 International Conference on Advanced Visual Interfaces; 2020 Sep 28 - Oct 2; Salerno, Italy. ACM; 2020. DOI: 10.1145&#47;3399715.3400873</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1145&#47;3399715.3400873</RefLink>
      </Reference>
      <Reference refNo="16">
        <RefAuthor>Wintersberger P</RefAuthor>
        <RefAuthor>Nicklas H</RefAuthor>
        <RefAuthor>Martlbauer T</RefAuthor>
        <RefAuthor></RefAuthor>
        <RefTitle>Explainable Automation: Personalized and Adaptive UIs to Foster Trust and Understanding of Driving Automation Systems</RefTitle>
        <RefYear>2020</RefYear>
        <RefBookTitle>AutomotiveUI &#8217;20: 12th International Conference on Automotive User Interfaces and Interactive Vehicular Applications; 2020 Sep 21-22</RefBookTitle>
        <RefPage>252-61</RefPage>
        <RefTotal>Wintersberger P, Nicklas H, Martlbauer T, et al. Explainable Automation: Personalized and Adaptive UIs to Foster Trust and Understanding of Driving Automation Systems. In: AutomotiveUI &#8217;20: 12th International Conference on Automotive User Interfaces and Interactive Vehicular Applications; 2020 Sep 21-22. ACM; 2020. p. 252-61. DOI: 10.1145&#47;3409120.341065</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1145&#47;3409120.341065</RefLink>
      </Reference>
      <Reference refNo="17">
        <RefAuthor>Kasirzadeh A</RefAuthor>
        <RefTitle>Reasons, Values, Stakeholders: A Philosophical Framework for Explainable Artificial Intelligence</RefTitle>
        <RefYear>2021</RefYear>
        <RefBookTitle>FAccT &#39;21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency; 2021 Mar 3-10</RefBookTitle>
        <RefPage>14</RefPage>
        <RefTotal>Kasirzadeh A. Reasons, Values, Stakeholders: A Philosophical Framework for Explainable Artificial Intelligence. In: FAccT &#39;21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency; 2021 Mar 3-10. ACM; 2021. p. 14. DOI: 10.1145&#47;3442188.344586</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1145&#47;3442188.344586</RefLink>
      </Reference>
      <Reference refNo="18">
        <RefAuthor>Gilpin LH</RefAuthor>
        <RefAuthor>Bau D</RefAuthor>
        <RefAuthor>Yuan BZ</RefAuthor>
        <RefAuthor>Bajwa A</RefAuthor>
        <RefAuthor>Specter M</RefAuthor>
        <RefAuthor>Kagal L</RefAuthor>
        <RefTitle>Explaining explanations: An overview of interpretability of machine learning</RefTitle>
        <RefYear>2028</RefYear>
        <RefBookTitle>2018 IEEE 5th International Conference on Data Science and Advanced Analytics; 2018 Oct 1-3; Turin, Italy</RefBookTitle>
        <RefPage>80-9</RefPage>
        <RefTotal>Gilpin LH, Bau D, Yuan BZ, Bajwa A, Specter M, Kagal L. Explaining explanations: An overview of interpretability of machine learning. In: 2018 IEEE 5th International Conference on Data Science and Advanced Analytics; 2018 Oct 1-3; Turin, Italy. IEEE; 2028. p. 80-9. DOI: 10.1109&#47;DSAA.2018.00018</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1109&#47;DSAA.2018.00018</RefLink>
      </Reference>
      <Reference refNo="19">
        <RefAuthor>Shneiderman B</RefAuthor>
        <RefTitle>Bridging the Gap Between Ethics and Practice: Guidelines for Reliable, Safe, and Trustworthy Human-Centered AI</RefTitle>
        <RefYear>2020</RefYear>
        <RefJournal>ACM Transactions on Interactive Intelligent Systems</RefJournal>
        <RefPage>26</RefPage>
        <RefTotal>Shneiderman B. Bridging the Gap Between Ethics and Practice: Guidelines for Reliable, Safe, and Trustworthy Human-Centered AI. ACM Transactions on Interactive Intelligent Systems. 2020;10(4):26. DOI: 10.1145&#47;3419764</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1145&#47;3419764</RefLink>
      </Reference>
      <Reference refNo="20">
        <RefAuthor>Ehsan U</RefAuthor>
        <RefAuthor>Harrison B</RefAuthor>
        <RefAuthor>Chan M</RefAuthor>
        <RefAuthor>Riedl MO</RefAuthor>
        <RefTitle>Automated rationale generation: A technique for explainable AI and its effects on human perceptions</RefTitle>
        <RefYear>2019</RefYear>
        <RefBookTitle>IUI &#8217;19: Proceedings of the 24th International Conference on Intelligent User Interfaces; 2019 Mar 17-20; Marina del Ray, CA, USA</RefBookTitle>
        <RefPage>263-74</RefPage>
        <RefTotal>Ehsan U, Harrison B, Chan M, Riedl MO. Automated rationale generation: A technique for explainable AI and its effects on human perceptions. In: IUI &#8217;19: Proceedings of the 24th International Conference on Intelligent User Interfaces; 2019 Mar 17-20; Marina del Ray, CA, USA. ACM; 2019. p. 263-74. DOI: 10.1145&#47;3301275.330231</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1145&#47;3301275.330231</RefLink>
      </Reference>
      <Reference refNo="22">
        <RefAuthor>Schoonderwoerd A</RefAuthor>
        <RefAuthor>de Bruijn O</RefAuthor>
        <RefAuthor>Klievink B</RefAuthor>
        <RefTitle>DoReMi-Practice: A Framework for Human-Centered Design in XAI</RefTitle>
        <RefYear>2021</RefYear>
        <RefJournal>AI &#38; Society</RefJournal>
        <RefPage>483-98</RefPage>
        <RefTotal>Schoonderwoerd A, de Bruijn O, Klievink B. DoReMi-Practice: A Framework for Human-Centered Design in XAI. AI &#38; Society. 2021;36:483-98.</RefTotal>
      </Reference>
      <Reference refNo="23">
        <RefAuthor>Liao QV</RefAuthor>
        <RefAuthor>Gruen D</RefAuthor>
        <RefAuthor>Miller T</RefAuthor>
        <RefTitle>Questioning the AI: Informing Design Practices for Explainable AI User Experiences</RefTitle>
        <RefYear>2020</RefYear>
        <RefBookTitle>CHI &#8217;20: CHI Conference on Human Factors in Computing Systems; 2020 Apr 25-30; Honolulu, HI, USA</RefBookTitle>
        <RefPage>1-15</RefPage>
        <RefTotal>Liao QV, Gruen D, Miller T. Questioning the AI: Informing Design Practices for Explainable AI User Experiences. In: CHI &#8217;20: CHI Conference on Human Factors in Computing Systems; 2020 Apr 25-30; Honolulu, HI, USA. ACM; 2020. p. 1-15. DOI: 10.1145&#47;3313831.3376590</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1145&#47;3313831.3376590</RefLink>
      </Reference>
      <Reference refNo="24">
        <RefAuthor>Mayring P</RefAuthor>
        <RefTitle></RefTitle>
        <RefYear>2015</RefYear>
        <RefBookTitle>Qualitative Inhaltsanalyse: Grundlagen und Techniken</RefBookTitle>
        <RefPage></RefPage>
        <RefTotal>Mayring P. Qualitative Inhaltsanalyse: Grundlagen und Techniken. Weinheim, Basel: Beltz Verlagsgruppe; 2015.</RefTotal>
      </Reference>
      <Reference refNo="21">
        <RefAuthor>Hemmer P</RefAuthor>
        <RefAuthor>Westphal M</RefAuthor>
        <RefAuthor>Schemmer M</RefAuthor>
        <RefAuthor></RefAuthor>
        <RefTitle>Human-AI Collaboration: The Effect of AI Delegation on Human Task Performance and Task Satisfaction</RefTitle>
        <RefYear>2023</RefYear>
        <RefBookTitle>IUI &#8217;23: 28th International Conference on Intelligent User Interfaces; 2023 Mar 27-31; Sydney, NSW, Australia</RefBookTitle>
        <RefPage>453-63</RefPage>
        <RefTotal>Hemmer P, Westphal M, Schemmer M, et al. Human-AI Collaboration: The Effect of AI Delegation on Human Task Performance and Task Satisfaction. In: IUI &#8217;23: 28th International Conference on Intelligent User Interfaces; 2023 Mar 27-31; Sydney, NSW, Australia. ACM; 2023. p. 453-63. DOI: 10.1145&#47;3581641.3584052</RefTotal>
        <RefLink>https:&#47;&#47;doi.org&#47;10.1145&#47;3581641.3584052</RefLink>
      </Reference>
      <Reference refNo="25">
        <RefAuthor>Ribera M</RefAuthor>
        <RefAuthor>Lapedriza A</RefAuthor>
        <RefTitle></RefTitle>
        <RefYear>2019</RefYear>
        <RefBookTitle>Can we do better explanations&#63; A proposal of user-centered explainable AI</RefBookTitle>
        <RefPage></RefPage>
        <RefTotal>Ribera M, Lapedriza A. Can we do better explanations&#63; A proposal of user-centered explainable AI. 2019.</RefTotal>
      </Reference>
    </References>
    <Media>
      <Tables>
        <Table format="png">
          <MediaNo>1</MediaNo>
          <MediaID>1</MediaID>
          <Caption><Pgraph><Mark1>Tabelle 1: &#220;berblick &#252;ber Workshops, Methoden und Ergebnisse</Mark1></Pgraph></Caption>
        </Table>
        <NoOfTables>1</NoOfTables>
      </Tables>
      <Figures>
        <NoOfPictures>0</NoOfPictures>
      </Figures>
      <InlineFigures>
        <NoOfPictures>0</NoOfPictures>
      </InlineFigures>
      <Attachments>
        <NoOfAttachments>0</NoOfAttachments>
      </Attachments>
    </Media>
  </OrigData>
</GmsArticle>