KI in den Händen unvollkommener Benutzer

npj Digital Medicine Band 5, Artikelnummer: 197 (2022) Diesen Artikel zitieren

5965 Zugriffe

3 Zitate

35 Altmetrisch

Details zu den Metriken

Da der Einsatz von künstlicher Intelligenz und maschinellem Lernen (KI/ML) im Gesundheitswesen immer weiter zunimmt, wird viel Wert darauf gelegt, Verzerrungen in Algorithmen abzumildern, um sicherzustellen, dass sie fair und transparent eingesetzt werden. Der Auseinandersetzung mit potenziellen Vorurteilen bei menschlichen KI/ML-Benutzern oder Faktoren, die das Vertrauen der Benutzer beeinflussen, wurde weniger Aufmerksamkeit geschenkt. Wir plädieren für einen systematischen Ansatz zur Identifizierung der Existenz und Auswirkungen von Benutzervorurteilen bei der Verwendung von KI/ML-Tools und fordern die Entwicklung eingebetteter Schnittstellendesignfunktionen, die sich auf Erkenntnisse aus der Entscheidungswissenschaft und der Verhaltensökonomie stützen, um Benutzer zu kritischerem und reflektierterem Verhalten zu bewegen Entscheidungsfindung mit KI/ML.

Der Einsatz von künstlicher Intelligenz und maschinellem Lernen (KI/ML) nimmt im Gesundheitswesen weiter zu und verspricht eine Verbesserung der personalisierten klinischen Entscheidungsfindung1. Mit der zunehmenden Verbreitung von KI-/ML-Tools wird viel Wert darauf gelegt, Verzerrungen in Algorithmen abzumildern, um sicherzustellen, dass sie fair und transparent eingesetzt werden. Der Abschwächung potenzieller Vorurteile unter menschlichen KI-Nutzern wird jedoch weniger Aufmerksamkeit geschenkt. Da automatisierte Systeme in ihrer Fähigkeit, Krankheiten vorherzusagen, zu untersuchen oder zu diagnostizieren, immer ausgefeilter werden, wird die Versuchung, sich bei der klinischen Entscheidungsfindung auf sie zu verlassen, zunehmen2. Allerdings sind die Faktoren, die das Vertrauen der Nutzer in die KI beeinflussen, kaum bekannt, und den Fachleuten im Gesundheitswesen mangelt es an Richtlinien darüber, welche Rolle die KI bei ihrer Entscheidungsfindung spielen sollte. Wir plädieren für einen systematischeren Ansatz zur Identifizierung des Vorhandenseins und der Auswirkungen von Benutzervorurteilen beim Einsatz von KI-Tools und ihrer Auswirkungen auf die klinische Entscheidungsfindung und die Patientenergebnisse. Insbesondere fordern wir eine stärkere empirische Forschung darüber, wie Vorurteile mit erwarteten negativen Ergebnissen durch den Einsatz eingebetteter Schnittstellendesignfunktionen gemildert werden können. Dabei stützen wir uns auf Erkenntnisse aus der Entscheidungswissenschaft und der Verhaltensökonomie, um Benutzer mithilfe von KI-Tools zu einer kritischeren und reflektierteren Entscheidungsfindung zu bewegen.

Regulierungsbehörden und politische Entscheidungsträger sind sich der potenziellen Schäden einer übermäßigen Abhängigkeit von KI-Systemen im Kontext hochriskanter Entscheidungen bewusst und scheinen es zu befürworten, die Menschen „auf dem Laufenden“ zu halten und ihre Aktionspläne und Empfehlungen auf die Verbesserung der Sicherheit von KI-/ML-Systemen zu konzentrieren, z. B. durch verbesserte Rechengenauigkeit3,4,5. In der Zwischenzeit entwickeln Entwickler neue Wege, um die Vertrauenswürdigkeit, Verantwortlichkeit und Erklärbarkeit von „Black-Box“-KI/ML anzugehen, die Deep Learning oder neuronale Netze mit erheblichen Einschränkungen in der Interpretierbarkeit beinhalten6,7. Diese Ziele scheinen besonders wichtig zu sein, wenn KI/ML in der klinischen Entscheidungsfindung eingesetzt wird, nicht nur, weil die Kosten von Fehlklassifizierungen und potenziellen Schäden für Patienten hoch sind, sondern auch, weil übermäßige Skepsis oder mangelndes Vertrauen die Akzeptanz vielversprechender neuer KI-Technologien durch die Beteiligten verringern können und verhindern ihre Verwendung und Verfügbarkeit außerhalb experimenteller Umgebungen.

Einer von uns (SG in Babic et al.8) warnte jedoch kürzlich medizinisches Fachpersonal davor, sich vor den Erklärungen zu hüten, die ihnen für Black-Box-KI/ML-Modelle präsentiert werden.

Erklärbare KI/ML … bietet post-hoc-algorithmisch generierte Begründungen für Black-Box-Vorhersagen, die nicht unbedingt die tatsächlichen Gründe für diese Vorhersagen sind oder kausal mit ihnen zusammenhängen. Dementsprechend ist der scheinbare Vorteil der Erklärbarkeit ein „Narrengold“, denn nachträgliche Rationalisierungen einer Blackbox werden wahrscheinlich nicht zu unserem Verständnis ihrer inneren Funktionsweise beitragen. Stattdessen entsteht bei uns wahrscheinlich der falsche Eindruck, dass wir es besser verstehen.“

Anstatt sich daher auf die Erklärbarkeit als strikte Bedingung für KI/ML im Gesundheitswesen zu konzentrieren, sollten sich Regulierungsbehörden wie die US-amerikanische Food and Drug Administration (FDA) ganzheitlicher auf die Aspekte von KI/ML-Systemen konzentrieren, die sich direkt auf deren Sicherheit und Wirksamkeit auswirken – insbesondere, wie diese Systeme in den Händen ihrer beabsichtigten Benutzer funktionieren. Während die FDA kürzlich ihre endgültigen Leitlinien veröffentlicht hat, in denen sie ausdrücklich die Risiken von Automatisierungsverzerrungen anerkennt9, arbeitet sie an einem neuen Regulierungsrahmen für Änderungen an KI/ML-basierter Software als medizinisches Gerät (d. h. Software, die selbst als medizinisches Gerät gemäß Abschnitt 201(h)(1) des US Federal Food, Drug, and Cosmetic Act10), Babic et al. argumentieren, dass Regulierungsbehörden wie die FDA zumindest in einigen Fällen auch den Schwerpunkt auf gut konzipierte klinische Studien legen sollten, um menschliche Faktoren und andere Ergebnisse des Einsatzes von KI in realen Umgebungen zu testen. Gerke et al.11,12 argumentieren ebenfalls, dass weitere algorithmische Tools prospektiv getestet werden müssen, um ihre Leistung in einer Vielzahl von Verfahrenskontexten zu verstehen, die ihre beabsichtigten Verwendungseinstellungen und Mensch-KI-Interaktionen widerspiegeln. Die Art der Benutzertests, die diese Wissenschaftler vorschlagen, geht über die typischen Benutzerfreundlichkeits- und Akzeptanztests hinaus, die die Pipeline von der Beta bis zu einer endgültigeren Version eines KI-Tools charakterisieren. Diese Art von Tests wird am häufigsten heuristisch durchgeführt13, wobei eine kleine Gruppe von Prüfern eingesetzt wird, um die Schnittstelle zu untersuchen und ihre Übereinstimmung mit relevanten Usability-Prinzipien (z. B. Interpretierbarkeit, wahrgenommener Nutzen, Navigationsfähigkeit, Zufriedenheit mit der Nutzung usw.) zu beurteilen. Während diese Metriken oft nützlich sind, um unmittelbare Benutzererfahrungen (d. h. „UX“-Tests) mit der Benutzeroberfläche eines Tools zu messen, ist eine tiefergehende Ebene von Benutzertests erforderlich14, um potenzielle Quellen „aufkommender“ oder „kontextueller“ Verzerrungen15 zu identifizieren und anzugehen aufgrund von Diskrepanzen zwischen dem Design eines Produkts und den Merkmalen seiner Benutzer, Anwendungsfälle oder Nutzungseinstellungen. Diese Diskrepanzen lassen sich bei KI-Tools möglicherweise schwieriger vorhersagen und erklären als bei herkömmlichen medizinischen Geräten oder Arzneimitteln, deren Leistung weniger von Benutzerinteraktionen und -interpretationen abhängt12 oder deren adaptive Algorithmen sich ständig ändern16. Eine Abmilderung dieser Diskrepanzen kann nur erreicht werden, indem wir unsere Vorstellung von Benutzertests über den derzeitigen Fokus auf KI-Leistungsmetriken und unmittelbare Benutzerfreundlichkeit hinaus erweitern, um menschliche und systemische Faktoren zu untersuchen, die beeinflussen, wie KI-Systeme in der Praxis17,18 von unvollkommenen Benutzern in unvollkommenen Umgebungen angewendet werden. Darüber hinaus muss sich das Testen nicht auf die bloße Beobachtung beschränken, wie Personen in verschiedenen Kontexten mit KI-Tools interagieren; Wir können auch testen, wie wir diese Interaktionen am besten gestalten können, indem wir vorhandene Erkenntnisse aus den Verhaltenswissenschaften nutzen, wie wir weiter unten diskutieren.

In diesem Stadium der Geschichte der Mensch-Maschine-Beziehungen ist fast jeder ein unvollkommener Nutzer von KI. Damit meinen wir unvollkommen rational: Unsere Interpretationen und Integration von Informationen in die Entscheidungsfindung, einschließlich Erkenntnissen aus der KI, sind anfällig für gut dokumentierte Formen der Voreingenommenheit19,20. Allerdings sind nicht alle Vorurteile gleichermaßen hervorstechend oder relevant für den sicheren, effektiven und verantwortungsvollen Einsatz von KI. Sowohl aus rechtlicher als auch aus ethischer Sicht sind die wichtigsten kognitiven Verzerrungen diejenigen, die sich darauf auswirken, inwieweit sich Menschen bei ihrer Entscheidungsfindung auf eine Weise auf KI verlassen, die Risiken mit sich bringt. Das Vertrauen erstreckt sich über ein Spektrum von völliger Ablehnung oder Skepsis gegenüber KI auf der einen Seite bis hin zu „blindem“ übermäßigem Vertrauen oder der Akzeptanz von aus der KI abgeleiteten Schlussfolgerungen auf der anderen Seite. Beide Arten von Fehlern können negative Auswirkungen auf die Patientenergebnisse haben, wobei eine Unterverlässlichkeit potenziell zu Auslassungsfehlern und eine übermäßige Abhängigkeit von Auftragsfehlern führen kann.

Wo klinische Entscheidungsträger in diesem Spektrum einzuordnen sind, hängt davon ab, wie sehr sie einem KI-System vertrauen. Literatur aus der Anthropologie und Entwicklungspsychologie dokumentiert Erkenntnisse, dass das menschliche Vertrauen davon beeinflusst wird, wie sich andere Menschen in Kontexten der Gegenseitigkeit und des Austauschs21 verhalten, und zwar nicht nur von Gütern und Dienstleistungen, sondern auch von Bindungsverhalten22,23 (z. B. Zuneigung, Fürsorge). Loyalität24, Integrität25 und Kompetenz26 spielen eine wichtige Rolle im Vertrauen zwischen Mensch und Mensch und werden zunehmend als eine entwickelte Fähigkeit konzeptualisiert, die uns hilft, komplexe soziale Dynamiken zu bewältigen und persönliche Risiken zu mindern, indem wir verstehen, welchen Entitäten und Objekten unter welchen Eventualitäten vertraut werden kann27,28,29. Während wir viel über Vertrauen in menschlichen Beziehungen wissen, beginnen wir gerade erst zu verstehen, wie und unter welchen Umständen Menschen Maschinen vertrauen. Literatur zu Mensch-Maschine-Interaktionen oder „Human Factors“-Forschung gibt es schon seit Jahrzehnten in anderen Bereichen, darunter Militär, Luft- und Raumfahrt und Robotik; Aber erst im letzten Jahrzehnt haben Fragen im Zusammenhang mit menschlichen Interaktionen mit autonomen Systemen (z. B. Automatisierungsbias) begonnen, den Bereich der KI im Allgemeinen und die KI-Ethik im Besonderen zu beleben2,11.

Vertrauen spielt eine besonders wichtige Rolle, wenn Entscheidungen in unsicheren Kontexten getroffen werden. Unsicherheit ist natürlich ein zentrales Merkmal der meisten klinischen Entscheidungen, insbesondere bei Erkrankungen (z. B. COVID-1930) oder Behandlungen (z. B. tiefe Hirnstimulation31 oder Gentherapien32), bei denen es keine lange Geschichte beobachteter Ergebnisse gibt. Wie Wang und Busemeyer (2021)33 beschreiben, können „unsichere“ Wahlsituationen von „riskanten“ Situationen dadurch unterschieden werden, dass riskante Entscheidungen eine Reihe von Ergebnissen mit bekannten Chancen oder Wahrscheinlichkeiten haben. Wenn Sie eine Münze werfen, wissen wir, dass die Wahrscheinlichkeit, dass die Münze „Kopf“ ist, bei 50 % liegt. Eine Wette auf „Kopf“ birgt jedoch ein hohes Risiko, nämlich eine Verlustwahrscheinlichkeit von 50 %. Bei unsicheren Entscheidungsszenarien hingegen gibt es keine bekannten oder vereinbarten Ergebniswahrscheinlichkeiten. Dies macht auch unsichere Entscheidungskontexte riskant, allerdings sind diese Risiken nicht ausreichend bekannt, um eine rationale Entscheidungsfindung zu ermöglichen. In informationsarmen Kontexten werden kritische Entscheidungen zwangsläufig auf der Grundlage unvollständiger Argumentation oder der Verwendung von „Lücken füllenden Heuristiken“ getroffen, was zu mehreren vorhersehbaren kognitiven Verzerrungen führen kann20. Einzelpersonen können sich einer Autoritätsperson unterordnen (Messenger-Bias34, Authority-Bias35); Sie schauen möglicherweise darauf, was andere tun („Mitläufer“ und Auswirkungen auf soziale Normen35,36); oder kann affektive Prognosefehler machen und aktuelle emotionale Zustände auf das zukünftige Selbst projizieren37. Die wahrgenommene oder tatsächliche Dringlichkeit klinischer Entscheidungen kann weitere Verzerrungen hervorrufen, wie z. B. Ambiguitätsaversion (Bevorzugung bekannter Risiken gegenüber unbekannten Risiken38) oder die Zurückhaltung beim Status quo oder Standard39 sowie Verlustaversion (wobei Verluste stärker gewichtet werden als Gewinne gleicher Größenordnung40). Diese Vorurteile sollen das Risiko des Unbekannten mindern, wenn schnelle Entscheidungen getroffen werden müssen. Sie bringen uns jedoch nicht immer näher an die „beste“ Vorgehensweise heran, wenn alle möglichen Informationen verfügbar wären.

Einer der überzeugendsten Vorteile von KI für das Gesundheitswesen besteht darin, diese Unsicherheit zu verringern – beispielsweise durch die Berechnung einer personalisierten Schätzung, dass sich der Zustand eines Patienten nach X Zeitspanne verschlechtern wird oder dass er einen Überlebensvorteil von Y Jahren nach dem Eingriff genießen wird. Ob KI jedoch erfolgreich zur Verringerung der Unsicherheit beiträgt, hängt immer noch weitgehend davon ab, wie Schätzungen interpretiert und umgesetzt werden. Eine kleine Anzahl von Studien, in denen Entscheidungsverzerrungen beim Einsatz von KI untersucht wurden, hat ergeben, dass Ärzte aller Fachkenntnisse häufig ungenaue Ratschläge, die von computergestützten Systemen (Automatisierungsverzerrung41,42,43,44,45), aber auch von Menschen generiert werden, nicht außer Acht lassen, was darauf hindeutet Menschen sind im Allgemeinen empfänglich für Vorschläge. Die Tendenz, auch schlechten Ratschlägen zu folgen, scheint bei Teilnehmern mit geringerer Fachkenntnis noch stärker ausgeprägt zu sein46,47. Der Erhalt solcher Ratschläge von KI-Systemen kann weitere Gefahren mit sich bringen, da möglicherweise andere kognitive Verzerrungen wie Ankereffekte und Bestätigungsverzerrungen auftreten, bei denen Benutzer auf eine bestimmte Perspektive vorbereitet werden und ihre Aufmerksamkeit unverhältnismäßig auf Informationen richten, die diese bestätigen48. Andere Studien haben herausgefunden, dass Teilnehmer abgeneigt sind, algorithmischen Ratschlägen zu folgen, wenn sie endgültige Entscheidungen treffen (algorithmischer Bias)49,50,51, aber dieses Ergebnis steht im Widerspruch zu anderen Studien, die zeigen, dass Menschen manchmal algorithmischem Urteilsvermögen gegenüber menschlichem Urteilsvermögen vorziehen46,47,52.

Angesichts der Vielfalt kognitiver Vorurteile und Eventualitäten, unter denen sie wahrscheinlich entstehen, ist weitere systematische Forschung erforderlich, um zu dokumentieren, welche wesentlichen Faktoren die Art und Weise beeinflussen, wie wir KI in Entscheidungen integrieren, und wie wir das Vertrauen am besten kalibrieren können, damit es mit dem übereinstimmt, was KI-Systeme tatsächlich leisten können ( z. B. etwas mit einem bestimmten Grad an Wahrscheinlichkeit und Genauigkeit vorhersagen). In der Robotik wird eine schlechte „Vertrauenskalibrierung“ zwischen Mensch und Maschine als zentrale Schwachstelle und wichtigster Prädiktor für Leistungseinbußen angesehen53,54. Wenn KI in die Hände von Benutzern gelegt wird, ohne Vertrauen und Vertrauen systematisch zu messen, zu kontrollieren oder auf andere Weise zu kalibrieren, wird das ohnehin schon hohe Maß an Unsicherheit, das diese Entscheidungskontexte charakterisiert, wahrscheinlich eher verschärft als verringert, was möglicherweise schwerwiegende Folgen hat.

Der aktuelle Vorstoß55,56,57 zur Verbesserung der Kompetenz von medizinischem Fachpersonal in KI/ML unterstreicht die Notwendigkeit, idiosynkratische Variationen durch fundierte Überlegungen zur Rolle zu ersetzen, die KI bei der klinischen Entscheidungsfindung spielen sollte. Es ist jedoch schwer zu sagen, welche Art von Beratung medizinisches Fachpersonal erhalten sollte, wenn so wenige empirische Schlussfolgerungen darüber gezogen wurden, wie KI in der klinischen (oder anderen) Entscheidungsfindung eingesetzt wird oder eingesetzt werden sollte. Viele Wissenschaftler ziehen Lehren aus algorithmischen Werkzeugen, die nachweislich negative gesellschaftliche Vorurteile bei der Vorhersage von Faktoren wie kriminellem Rückfall58, Gesundheitszustand und Versicherbarkeit1 sowie Krankheitsrisiko (z. B. Hautkrebs)59 reproduzieren, und argumentieren60,61, dass KI-Werkzeuge keine Entscheidungen ersetzen sollten, die dies bewirken gelten als „hohe Einsätze“ – solche mit erheblichen Auswirkungen auf die Gesundheit oder die Justiz. Im Gesundheitswesen empfehlen einige Experten, dass sogar KI mit einer nachgewiesenen Fähigkeit zur autonomen Identifizierung und Diagnose von Krankheiten durch von Menschen durchgeführte Tests bestätigt werden sollte62,63. Ähnliche Schlussfolgerungen wurden zu autonomen Waffensystemen (AWS) in militärischen64 und maritimen Anwendungen (z. B. unbemannte Schifffahrt65) gezogen, wobei weiterhin darüber debattiert wird, ob Menschen „in“ oder „on“ der Schleife gehalten werden sollen, wobei letzteres darauf hindeutet, dass Menschen dies tun können müssen keine aktive Rolle bei der Entscheidungsfindung übernehmen, können (und sollten) aber dennoch eingreifen oder sich auf KI-Schlussfolgerungen berufen, wenn ihre Schlussfolgerungen denen der AWS widersprechen (sofern sie rechtzeitig erkannt werden).

Wenn wir der Meinung sind, dass Menschen immer noch „in“ oder „auf“ dem Kreislauf sein sollten, wie sollte man dann erwarten, dass medizinische Fachkräfte auf KI-basierte Informationen reagieren? Die Empfehlung, mit Vorsicht vorzugehen, ist zwar gerechtfertigt, scheint aber zu weit gefasst, um den Entscheidungsbedürfnissen von Ärzten gerecht zu werden, die leistungsstarke KI zur Unterstützung komplexer medizinischer Entscheidungen einsetzen. Es besteht zunehmend Einigkeit darüber, dass KI-Kenntnisse (einschließlich ihrer Mängel in Bezug auf Voreingenommenheit, Transparenz und Haftung) Teil der medizinischen Ausbildung sein sollten, mit der Empfehlung, dass Medizinstudenten ausreichende Kenntnisse in Datenwissenschaft, Biostatistik, Informatik und sogar Gesundheits-KI erwerben müssen Ethik66, um sicherzustellen, dass sie unter anderem „Informationen von Hype“ trennen und KI-Systeme kritisch bewerten können57,67. Andere68 haben argumentiert, dass das Erlernen effektiver Debiasing-Strategien und die Schärfung des Bewusstseins dafür, wie Heuristiken die klinische Entscheidungsfindung beeinflussen können, in allen Phasen der medizinischen Ausbildung Vorrang haben sollten. Es bleibt jedoch unklar, auf welche Vorurteile Gesundheitsdienstleister am meisten aufmerksam gemacht werden sollten; ob Anbieter dafür verantwortlich sein sollten, sich ihrer eigenen Vorurteile bewusst zu sein, oder ob die Vorurteilsminderung in standardisierte Prozesse zur Implementierung von KI-Tools in der klinischen Entscheidungsfindung oder in die Gestaltung der Technologien selbst eingebettet werden kann (oder sollte).

Während es wahrscheinlich zutrifft, dass Ärzte zunehmend lernen müssen, wie sie KI verantwortungsvoll einsetzen, um mit klinischen Innovationen Schritt zu halten, sollten auch andere komplementäre Ansätze untersucht werden. Eine vielversprechende Option besteht darin, Ärzte dabei zu unterstützen, die spezifischen Merkmale zu demonstrieren, die wir bei der klinischen Entscheidungsfindung schätzen, indem wir Techniken zur Verzerrungsminderung in die Designmerkmale unserer KI-Systeme und Benutzeroberflächen einbetten. Dieser Gedanke basiert auf langjähriger Arbeit in der Computerethik69,70 und ist unter verschiedenen Begriffen bekannt, darunter Value-Sensitive Design (VSD71), Values ​​@ Play72, reflektierendes Design73, kontroverses Design74 und kritische technische Praxis75, und wurde ursprünglich von Friedman und Nissenbaum76 entwickelt ,77 in den 1990er Jahren als eine Möglichkeit, einen reflektierenden, iterativen Prozess zur Gestaltung von Mensch-Computer-Interaktionen zu fördern, bei dem Vertrauen und Benutzerwohl Priorität haben. In der Art und Weise, wie VSD durchgeführt wird, gibt es weiterhin große Unterschiede, aber die zentrale Motivation hinter diesem Ansatz ist, dass reflektierende Designansätze dazu beitragen können, Benutzervorurteile zu mildern und günstigere Ergebnisse zu erzielen. Das Befolgen der drei Hauptphasen von VSD würde bedeuten, die Bandbreite und Vielfalt der Stakeholder-Werte zu identifizieren und zu ermitteln, wie sie am besten auf ein formuliertes Ziel hin ausgerichtet werden können (konzeptionell), die Auswirkungen bestimmter Werte und Praktiken auf relevante Ergebnisse zu beobachten (empirisch) und technische Spezifikationen dafür zu entwickeln Entwerfen Sie Systeme, die die Nutzung eines Systems widerspiegeln oder mitgestalten, um es an den Werten der Stakeholder auszurichten (technisch). Ein Beispiel wäre die Gestaltung interaktiver Webbrowser-Cookie-Verwaltungssysteme, die den Grundsätzen des Datenschutzes, der Freiwilligkeit und des Rechts auf Offenlegung Rechnung tragen71. Angesichts der oft unvorhersehbaren Auswirkungen und des adaptiven Charakters von KI-Tools haben Wissenschaftler einen vierten und laufenden Schritt der Lebenszyklusüberwachung und -bewertung speziell auf VSD für KI ausgeweitet14,78.

Aufbauend auf diesen Ansätzen argumentieren wir, dass ein VSD-Ansatz nicht nur dazu beitragen könnte, Werte in die Gestaltung von KI-Tools einzubetten, sondern auch Benutzer aktiv und strategisch zu beeinflussen (anzuregen), sich bei der Verwendung solcher Tools ethischer und kritischer zu reflektieren. Ein solcher Ansatz erfordert eine kritische Auseinandersetzung mit der Ethik des Nudgings bei Gesundheitsentscheidungen sowie die Identifizierung des Bereichs von Zielwerten, die Ärzte bei der Entscheidungsfindung nachweisen sollen. Nudging ist eine Form des libertären Paternalismus, bei dem Entscheidungen aktiv durch Strategien wie Informationsgestaltung, Strukturierung von Anreizen und andere Mittel zur Förderung der Übernahme bestimmter Verhaltensweisen gestaltet werden79. Während Beweise für die Wirksamkeit dieses Ansatzes fast zwei Jahrzehnte zurückreichen80, haben sich Nudging-Taktiken beispielsweise während der COVID-19-Pandemie als wirksam erwiesen, um die Einhaltung gesundheitsfördernder Verhaltensweisen wie Händewaschen und soziale Distanzierung zu fördern81. Obwohl nicht ohne Kritik (z. B. dass es sich um eine Form der Manipulation handeln kann82,83), besteht ein zentraler Grundgedanke des Nudgings darin, die individuelle Wahl zu wahren und gleichzeitig Menschen zu Verhaltensweisen zu führen, die der Bevölkerung zugute kommen84. Es ist jedoch komplex, zu bestimmen, wer entscheiden darf, welche Werte beim Treffen „guter“ Entscheidungen beim Einsatz eines KI-Tools zum Tragen kommen, und es sollten die Perspektiven mehrerer, unterschiedlicher Interessengruppen berücksichtigt werden, nicht nur die der Entwickler, die diese Systeme entwerfen. Der Hippokratische Eid legt ein grundlegendes Kriterium fest, dass die Entscheidungen von Ärzten im Dienste dessen stehen sollten, was sie für das Wohl des Patienten halten. Weitere Kriterien stammen aus umfangreicher Literatur zur Entscheidungsfindung und zur klinischen Entscheidungsunterstützung85 und deuten darauf hin, dass „Qualitätsentscheidungen“ solche sind, die fundiert sind und zu positiven Ergebnissen führen, die mit den Werten eines Patienten übereinstimmen. Andere Zielwerte, wie z. B. Entscheidungsautonomie82, dürften relevant sein, und es sollte beachtet werden, dass sich wichtige Zielwerte je nach Art des KI-Tools oder den ethischen Fragen, die von seinen vorgesehenen Benutzern oder Nutzungskontexten aufgeworfen werden, verschieben können. Ein KI-Tool zum Beispiel, das darauf ausgelegt ist, das Auftreten psychiatrischer Erkrankungen bei Jugendlichen vorherzusagen und zu verhindern, legt bestimmte Zielwerte bei der Entscheidungsfindung fest (z. B. Entscheidungsautonomie, Recht der Patienten auf eine offene Zukunft) und ist gleichzeitig ein Tool zur Identifizierung des Vorliegens und der Prognose solcher Erkrankungen Lungenkrebs bei Erwachsenen kann andere hervorrufen (z. B. Vermeidung negativer emotionaler Reaktionen, Überlegungen zur Umsetzbarkeit, Recht des Patienten auf Nichtwissen). Es besteht Forschungsbedarf, um zu klären, welche Zielwerte für die Entscheidungsfindung „Qualität“ in welchen klinischen Szenarien am wichtigsten sind.

Ein Zielwert, der bei allen klinischen Entscheidungen im Zusammenhang mit KI wahrscheinlich relevant ist, ist die Notwendigkeit, die Reflexivität bei der Entscheidungsfindung zu fördern, um die möglichen negativen Folgen einer übermäßigen Abhängigkeit von KI zu vermeiden. Eine wachsende Literatur1,86 die die potenziell schädlichen Auswirkungen einer übermäßigen Abhängigkeit von KI-Algorithmen aufzeigt, unterstreicht die Bedeutung von Reflexivität und Überlegung als Leitprinzipien für den KI-Einsatz. Diese Untersuchungen und Beobachtungen fließen somit in die konzeptionellen und empirischen Phasen des VSD-Ansatzes ein und stellen die technische Herausforderung dar, Schnittstellen zu entwerfen, die dazu beitragen, den deliberativen und reflexiven Einsatz von KI-Systemen so zu gestalten, dass sie mit den Interessen der Benutzer übereinstimmen. Untersuchungen haben gezeigt, dass die Art und Weise, wie Informationen präsentiert werden, die Wahrscheinlichkeit beeinflussen kann, dass Benutzer sich auf reflektierendes oder kritisches Denken einlassen. Beispielsweise nutzte eine Studie von Zhang et al.87 einen einfachen Interface-Nudge, um zum Nachdenken anzuregen, indem die Teilnehmer gebeten wurden, kurze Fragen zu beantworten, in denen sie ihre eigene Meinung gegenüber dem verdeutlichten, was sie als Gründe für alternative Perspektiven betrachteten. Weinmann88 hat eine Online-Schnittstelle mit ähnlichen Fragen entwickelt, um die „interne Überlegung“ zu verbessern, indem Fragen gestellt werden, die zum Nachdenken über alternative Perspektiven anregen. Andere Untersuchungen von Harbach et al.89 belegen die Wirksamkeit der Verwendung von Interface-Design-Elementen, um zum Nachdenken anzuregen, indem sie die Konsequenzen von Benutzerentscheidungen veranschaulichen (z. B. indem Benutzer an die möglichen Auswirkungen bei der Auswahl bestimmter Datenschutzparameter des Benutzers erinnert werden). Menon et al.90 untersuchten in ähnlicher Weise, wie die Modifizierung von „Interface Nudges“ in Bezug auf spezifisch gezielte kognitive Vorurteile (z. B. Verankerungs- und soziale Erwünschtheitseffekte) die Überlegungen und Reaktionen der Benutzer beeinflusste. Diese Studien verdeutlichen, wie strategisches Interface-Design dazu beitragen kann, die Reflexion zu verbessern und die passive Informationsaufnahme zu reduzieren.

Spezifisch für KI-Systemschnittstellen können beispielsweise Designelemente je nach Stakeholder-Typ variieren. Eine Schnittstelle, die darauf ausgelegt ist, die übermäßige Abhängigkeit von Ärzten von einem KI-Modell zur Schätzung des 1-Jahres-Überlebens eines Patienten nach der Intervention zu verringern, könnte kurze Fragen oder eine Checkliste enthalten, die Ärzte dazu auffordert, zu dokumentieren, welche anderen klinischen, psychosozialen oder umweltbedingten Faktoren oder zusätzlichen Expertenmeinungen sie konsultiert haben um die Schätzung der KI zu bestätigen (oder in Frage zu stellen). Ergänzend dazu kann eine patientenorientierte Schnittstelle für dasselbe Tool die numerische Überlebensschätzung im Rahmen einer ganzheitlicheren Werteklärungsübung kontextualisieren, bei der Patienten aufgefordert werden, ein oder mehrere Behandlungsziele einzukreisen, was ihre Entscheidungen beeinflusst und eine reflektierte, wertebasierte Entscheidungsfindung fördert. Der Einbau solcher Reflexivitätsmetriken könnte nicht nur dazu beitragen, Benutzer von einer übermäßigen Abhängigkeit von KI-Tools abzubringen, sondern auch die Auswirkungen auf die klinische Entscheidungsfindung in der Praxis bewerten, sowohl innerhalb als auch außerhalb klinischer Studienkontexte.

Schnittstellen sind jedoch nicht die einzigen verfügbaren Tools mit dieser Kapazität. Die Konzeption, wie sich ein KI-System in den klinischen Ablauf integrieren lässt, um die Überlegungen zwischen klinischen Teams zu fördern, kann auch dazu beitragen, das Risiko einer übermäßigen Abhängigkeit zu verringern91. Es könnten situative und logistische Faktoren berücksichtigt werden, wie z. B. das Setting (z. B. der gemeinsame Einsatz eines KI-Tools während einer ärztlichen Untersuchung im Vergleich zu individueller Nutzung in einer Arztpraxis), der Zeitpunkt (vor oder nach der Behandlungskandidatur) und der Informationszugang (direkter Zugriff). Patienten versus ärztlich privilegierte Ergebniskommunikation). Die Integration von KI mit anderen bestehenden klinischen Technologien kann auch die Ergebnisse der Verwendung von KI-Tools verändern, indem sie die Informationen erweitert, die in die Entscheidungsfindung integriert werden92. Zu den organisatorischen Aspekten können Schulung, Aufsicht, Übergabe und Informationsfluss zwischen den Mitgliedern des klinischen Teams gehören91.

Diese oben diskutierten Erkenntnisse stellen nur die Spitze des Eisbergs von Faktoren dar, die möglicherweise koordiniert werden können, um die Entscheidungsqualität und -ergebnisse mithilfe von KI positiv zu beeinflussen. Sie wurden in so unterschiedlichen Bereichen wie Entscheidungswissenschaft, Verhaltensökonomie, menschliche Faktoren, Psychologie, Politikwissenschaft, Robotik und anderen identifiziert und häufig ausführlich diskutiert. Allerdings wurden bisher nur wenige dieser Erkenntnisse in die Gestaltung von KI-Systemen integriert oder systematisch in klinischen Studien getestet, um den Einsatz von KI proaktiv zu gestalten.

Wir schließen uns den Forderungen anderer an, dass wir ihre Ergebnisse und Auswirkungen in den Händen unvollkommener menschlicher Akteure besser verstehen müssen, bevor KI-Tools „in die Freiheit entlassen“ werden, indem wir zumindest einige von ihnen anhand eines risikobasierten Ansatzes in klinischen Studien testen spiegeln ihre beabsichtigten Verwendungseinstellungen wider. Wir treiben diesen Vorschlag voran, indem wir die Aufmerksamkeit auf die Notwendigkeit lenken, empirisch zu identifizieren und zu testen, wie spezifische Benutzervorurteile und Entscheidungskontexte die Art und Weise beeinflussen, wie KI-Tools in der Praxis eingesetzt werden und die Patientenergebnisse beeinflussen. Wir schlagen vor, dass VSD zur Strategieentwicklung von Mensch-Maschine-Schnittstellen auf eine Weise eingesetzt werden kann, die kritische Reflexion fördert, Voreingenommenheit abmildert und eine übermäßige Abhängigkeit von KI-Systemen bei der klinischen Entscheidungsfindung verringert. Wir glauben, dass dieser Ansatz dazu beitragen kann, einige der Belastungen für Ärzte zu verringern, die selbst (mit nur einer Grundausbildung oder Kenntnissen über KI) die optimale Rolle von KI-Tools bei der Entscheidungsfindung herausfinden müssen, indem ein gewisses Maß an Verzerrungsminderung direkt in KI-Systeme eingebettet wird und Schnittstellen.

Obermeyer, Z. & Emanuel, EJ Die Zukunft vorhersagen – Big Data, maschinelles Lernen und klinische Medizin. N. engl. J. Med. 375, 1216 (2016).

Artikel Google Scholar

Klugman, CM & Gerke, S. Aufstieg der Bioethik-KI: Fluch oder Segen? Bin. J. Bioeth. 22, 35–37 (2022).

Artikel Google Scholar

US-amerikanische Lebensmittel- und Arzneimittelbehörde. Aktionsplan für auf künstlicher Intelligenz/maschinellem Lernen (KI/ML) basierende Software als Medizinprodukt (SaMD). (2021).

Kommission E. Festlegung harmonisierter Regeln für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und Änderung bestimmter Rechtsakte der Union. Europäische Kommission (Brüssel, 21.4.2021).

Jobin, A., Ienca, M. & Vayena, E. Die globale Landschaft der KI-Ethikrichtlinien. Nat. Mach. Intel. 1, 389–9 (2019).

Artikel Google Scholar

Chen T, Guestrin C. Tagungsband der 22. internationalen ACM SIGKDD-Konferenz über Wissensentdeckung und Data Mining. 2016.

Markus, AF, Kors, JA & Rijnbeek, PR Die Rolle der Erklärbarkeit bei der Schaffung vertrauenswürdiger künstlicher Intelligenz für das Gesundheitswesen: eine umfassende Übersicht über Terminologie, Designentscheidungen und Bewertungsstrategien. J. Biomed. Informieren. 113, 103655 (2021).

Artikel Google Scholar

Babic, B., Gerke, S., Evgeniou, T. & Cohen, IG Vorsicht vor Erklärungen durch KI im Gesundheitswesen. Wissenschaft 373, 284–286 (2021).

Artikel CAS Google Scholar

US-amerikanische Lebensmittel- und Arzneimittelbehörde. Software zur Unterstützung klinischer Entscheidungen – Anleitung für Mitarbeiter der Industrie und der Lebensmittel- und Arzneimittelverwaltung. (2022).

US-amerikanische Lebensmittel- und Arzneimittelbehörde. US-Bundesgesetz über Lebensmittel, Arzneimittel und Kosmetika. (2018).

Gerke, S. Gesundheits-KI eher zum Guten als zum Bösen? die Notwendigkeit eines neuen Regulierungsrahmens für KI-basierte Medizinprodukte. Yale J. Gesundheitspolitik, Recht, Ethik 20, 433 (2021).

Google Scholar

Gerke, S., Babic, B., Evgeniou, T. & Cohen, IG Die Notwendigkeit einer Systemansicht zur Regulierung von auf künstlicher Intelligenz/maschinellem Lernen basierender Software als medizinisches Gerät. NPJ-Ziffer. Med. 3, 1–4 (2020).

Artikel Google Scholar

Nielsen, J. & Molich, R. Heuristische Bewertung von Benutzeroberflächen. Proz. SIGCHI Conf. Summen. Faktoren Comput. Syst. 1990, 249–256 (1990).

Google Scholar

Wu, E. et al. Wie medizinische KI-Geräte bewertet werden: Einschränkungen und Empfehlungen aus einer Analyse der FDA-Zulassungen. Nat. Med. 27, 582–584 (2021).

Artikel CAS Google Scholar

Preis WN II. Medizinische KI und kontextuelle Voreingenommenheit. Harvard Journal of Law and Technology 33, 2019.

Babic, B., Gerke, S., Evgeniou, T. & Cohen, IG Algorithmen zum regulatorischen Lockdown in der Medizin. Science 366, 1202–1204 (2019).

Artikel CAS Google Scholar

Ansell, DA & McDonald, EK Bias, schwarze Leben und akademische Medizin. N. engl. J. Med. 372, 1087–1089 (2015).

Artikel CAS Google Scholar

Kostick-Quenet, KM et al. Milderung rassistischer Vorurteile beim maschinellen Lernen. J. Law Med. Ethik 50, 92–100 (2022).

Artikel Google Scholar

Blumenthal-Barby, JS Gute Ethik und schlechte Entscheidungen: die Relevanz der Verhaltensökonomie für die medizinische Ethik. (MIT Press, 2021).

Kahneman D., Slovic SP, Slovic P. & Tversky A. Urteil unter Unsicherheit: Heuristiken und Vorurteile. (Cambridge University Press, 1982).

Pillutla, MM, Malhotra, D. & Murnighan, JK Zuschreibungen von Vertrauen und das Kalkül der Gegenseitigkeit. J. Exp. Soc. Psychol. 39, 448–455 (2003).

Artikel Google Scholar

Corriveau, KH et al. Das Vertrauen kleiner Kinder in die Ansprüche ihrer Mutter: Längsschnittverbindungen mit Bindungssicherheit im Säuglingsalter. Kinderentwickler. 80, 750–761 (2009).

Artikel Google Scholar

Fett, A.-K. et al. Vertrauen lernen: Vertrauen und Bindung in der frühen Psychose. Psychol. Med. 46, 1437–1447 (2016).

Artikel Google Scholar

Butler, JK Jr. & Cantrell, RS Ein Ansatz der Verhaltensentscheidungstheorie zur Modellierung des dyadischen Vertrauens in Vorgesetzte und Untergebene. Psychol. Rep. 55, 19–28 (1984).

Artikel Google Scholar

Mayer, RC, Davis, JH & Schoorman, FD Ein integratives Modell des organisatorischen Vertrauens. Acad. Geschäftsführer Rev. 20, 709–734 (1995).

Artikel Google Scholar

Grover, SL, Hasel, MC, Manville, C. & Serrano-Archimi, C. Follower-Reaktionen auf Verstöße gegen das Vertrauen von Führungskräften: Eine fundierte Theorie der Verstoßtypen, der Wiederherstellungswahrscheinlichkeit und des Wiederherstellungsprozesses. EUR. Geschäftsführer J. 32, 689–702 (2014).

Artikel Google Scholar

Banaji MR & Gelman SA Navigieren in der sozialen Welt: Was uns Säuglinge, Kinder und andere Lebewesen lehren können. (Oxford University Press; 2013).

Fawcett, C. Kinder kümmern sich um den Speichelaustausch, um auf soziale Beziehungen zu schließen. Wissenschaft 375, 260–261 (2022).

Artikel CAS Google Scholar

Kaufmann, L. & Clément, F. Wired für die Gesellschaft: Wege zu Gesellschaft und Kultur erkennen. Topoi 33, 459–75. (2014).

Artikel Google Scholar

Vickery, J. et al. Herausforderungen für die evidenzbasierte Entscheidungsfindung im Kontext von Pandemien: qualitative Untersuchung der Perspektiven von COVID-19-Politikberatern. BMJ Glob. Gesundheit 7, e008268 (2022).

Artikel Google Scholar

Muñoz, KA et al. Dringende ethische Fragen bei der Erwägung einer pädiatrischen Tiefenhirnstimulation bei Zwangsstörungen. Gehirnstimulation. 14, 1566–72. (2021).

Artikel Google Scholar

Hampson, G., Towse, A., Pearson, SD, Dreitlein, WB & Henshall, C. Gentherapie: Evidenz, Wert und Erschwinglichkeit im US-amerikanischen Gesundheitssystem. J. Comp. Eff. Res. 7, 15–28 (2018).

Artikel Google Scholar

Wang, ZJ & Busemeyer, JR Kognitive Entscheidungsmodellierung. (MIT Press, 2021).

Menon, T. & Blount, S. Der Messenger-Bias: ein relationales Modell der Wissensbewertung. Res. Organ. Verhalten. 25, 137–186 (2003).

Google Scholar

Howard, J. Bandwagon-Effekt und Autoritätsbias. Kognitive Fehler und Diagnosefehler. 21–56 (Springer; 2019).

Slovic, P. Die Konstruktion der Präferenz. Bin. Psychol. 50, 364 (1995).

Artikel Google Scholar

Levine, LJ, Lench, HC, Karnaze, MM & Carlson, SJ Bias in vorhergesagten und erinnerten Emotionen. Curr. Meinung. Verhalten. Wissenschaft. 19, 73–77 (2018).

Artikel Google Scholar

Christman, J. Die Politik der Personen: Individuelle Autonomie und soziohistorisches Selbst. (Cambridge University Press, 2009).

Samuelson, W. & Zeckhauser, R. Status-Quo-Bias bei der Entscheidungsfindung. J. Risiko unsicher. 1, 7–59 (1988).

Artikel Google Scholar

Hardisty, DJ, Appelt, KC & Weber, EU Gut oder schlecht, wir wollen es jetzt: Die gegenwärtige Fixkostenverzerrung für Gewinne und Verluste erklärt Größenasymmetrien in der intertemporalen Wahl. J. Verhalten. Entscheidung. Mak. 26, 348–361 (2013).

Artikel Google Scholar

Alon-Barkat, S. & Busuioc, M. Verarbeitung von KI-algorithmischen Ratschlägen durch Entscheidungsträger: Automatisierungsverzerrung versus selektive Einhaltung. https://arxiv.org/ftp/arxiv/papers/2103/2103.02381.pdf (2021).

Bond, RR et al. Automatisierungsbias in der Medizin: Der Einfluss automatisierter Diagnosen auf die Genauigkeit und Unsicherheit des Dolmetschers beim Lesen von Elektrokardiogrammen. J. Elektrokardiol. 51, S6–S11 (2018).

Artikel Google Scholar

Cummings, ML-Automatisierungsbias in intelligenten zeitkritischen Entscheidungsunterstützungssystemen. Entscheidungsfindung in der Luftfahrt. 289–294 (Routledge, 2017).

Jussupow, E., Spohrer, K., Heinzl, A. & Gawlitza, J. Medizinische Diagnoseentscheidungen ergänzen? Eine Untersuchung des Entscheidungsprozesses von Ärzten mit künstlicher Intelligenz. Inf. Syst. Res. 32, 713–735 (2021).

Artikel Google Scholar

Skitka, LJ, Mosier, KL & Burdick, M. Beeinflusst die Automatisierung die Entscheidungsfindung? Int. J. Hum. Berechnen. Zucht. 51, 991–1006 (1999).

Artikel Google Scholar

Dijkstra, JJ, Liebrand, WB & Timminga, E. Überzeugungskraft von Expertensystemen. Verhalten. Inf. Technol. 17, 155–163 (1998).

Artikel Google Scholar

Logg, JM, Minson, JA & Moore, DA Wertschätzung von Algorithmen: Menschen bevorzugen Algorithmen gegenüber menschlichem Urteilsvermögen. Organ. Verhalten. Summen. Entscheidung. Verfahren. 151, 90–103 (2019).

Artikel Google Scholar

Furnham, A. & Boo, HC Eine Literaturübersicht zum Ankereffekt. J. Sozioökon. 40, 35–42 (2011).

Artikel Google Scholar

Diab, DL, Pui, SY, Yankelevich, M. & Highhouse, S. Lay-Wahrnehmungen von Auswahlentscheidungshilfen in US-amerikanischen und nicht-US-amerikanischen Stichproben. Int. J. Sel. Bewerten. 19, 209–216 (2011).

Artikel Google Scholar

Dietvorst, BJ, Simmons, JP & Massey, C. Algorithmenaversion: Menschen meiden Algorithmen fälschlicherweise, nachdem sie gesehen haben, dass sie Fehler machen. J. Exp. Psychol. Gen. 144, 114 (2015).

Artikel Google Scholar

Promberger, M. & Baron, J. Vertrauen Patienten Computern? J. Verhalten. Entscheidung. Mak. 19, 455–468 (2006).

Artikel Google Scholar

Gaube, S. et al. Machen Sie, was die KI sagt: Anfälligkeit beim Einsatz klinischer Entscheidungshilfen. NPJ-Ziffer. Med. 4, 1–8 (2021).

Artikel Google Scholar

Mosier, K. L, Skitka, LJ, Burdick, MD & Heers, ST-Automatisierungsvoreingenommenheit, Verantwortlichkeit und Verifizierungsverhalten. Tagungsband der Jahrestagung der Human Factors and Ergonomie Society. S. 204–208 (SAGE Publications Sage CA, Los Angeles, CA, 1996).

Wickens, CD, Clegg, BA, Vieane, AZ & Sebok, AL Selbstzufriedenheit und Automatisierungsvoreingenommenheit bei der Verwendung unvollständiger Automatisierung. Summen. Faktoren 57, 728–739 (2015).

Artikel Google Scholar

Li, D., Kulasegaram, K. & Hodges, BD Warum wir keine Angst vor Maschinen haben müssen: Chancen für die Medizin in einer Welt des maschinellen Lernens. Acad. Med. 94, 623–625 (2019).

Artikel Google Scholar

Paranjape, K., Schinkel, M., Panday, RN, Car, J. & Nanayakkara, P. Einführung von Schulungen zu künstlicher Intelligenz in der medizinischen Ausbildung. JMIR Med. Educ. 5, e16048 (2019).

Artikel Google Scholar

Park, SH, Do, K.-H., Kim, S., Park, JH & Lim, Y.-S. Was sollten Medizinstudierende über Künstliche Intelligenz in der Medizin wissen? J. Educ. Bewertung. Gesundheitsprofessor 16, 18 (2019).

Artikel Google Scholar

Leavy, S., O'Sullivan, B. & Siapera, E. Daten, Macht und Voreingenommenheit in der künstlichen Intelligenz. https://arxiv.org/abs/2008.07341 (2020).

Goyal, M., Knackstedt, T., Yan, S. & Hassanpour, S. Auf künstlicher Intelligenz basierende Bildklassifizierungsmethoden zur Diagnose von Hautkrebs: Herausforderungen und Chancen. Berechnen. Biol. Med. 127, 104065 (2020).

Artikel Google Scholar

Loftus, TJ et al. Künstliche Intelligenz und chirurgische Entscheidungsfindung. JAMA Surg. 155, 148–158 (2020).

Artikel Google Scholar

Rudin, C. Hören Sie auf, Black-Box-Modelle für maschinelles Lernen für Entscheidungen mit hohem Risiko zu erklären, und verwenden Sie stattdessen interpretierbare Modelle. Nat. Mach. Intel. 1, 206–215 (2019).

Artikel Google Scholar

Kelly, CJ, Karthikesalingam, A., Suleyman, M., Corrado, G. & King, D. Schlüsselherausforderungen für die Erzielung klinischer Wirkung mit künstlicher Intelligenz. BMC Med. 17, 1–9 (2019).

Artikel CAS Google Scholar

Yu, K.-H., Beam, AL & Kohane, IS Künstliche Intelligenz im Gesundheitswesen. Nat. Biomed. Ing. 2, 719–731 (2018).

Artikel Google Scholar

Cowen MBCrRW. Ist Human-On-the-Loop die beste Antwort für schnelle, relevante Reaktionen? 2021. https://www.japcc.org/essays/is-human-on-the-loop-the-best-answer-for-rapid-relevant-responses/ (abgerufen am 23. August 2022).

Man, Y., Lundh, M. & Porathe, T. Suche nach Harmonie bei der Handhabung unbemannter Schiffe an Land: Was ist aus der Perspektive menschlicher Faktoren der Unterschied, auf den wir uns konzentrieren müssen, wenn wir uns an Bord oder an Land befinden? Menschliche Faktoren im Transportwesen. 81–90 (CRC Press, 2016).

Katznelson, G. & Gerke, S. Die Notwendigkeit einer Gesundheits-KI-Ethik in der medizinischen Fakultätsausbildung. Adv. Gesundheitswissenschaft. Educ. 26, 1447–1458 (2021).

Artikel Google Scholar

Grunhut, J., Marques, O. & Wyatt, AT Bedürfnisse, Herausforderungen und Anwendungen künstlicher Intelligenz im Lehrplan der medizinischen Ausbildung. JMIR Med. Educ. 8, e35587 (2022).

Artikel Google Scholar

Doherty, TS & Carroll, AE Der Glaube an die Überwindung kognitiver Vorurteile. AMA J. Ethics 22, 773–778 (2020).

Artikel Google Scholar

Friedman, B. & Nissenbaum, H. Bias in Computersystemen. Computerethik. 215–232 (Routledge, 2017).

Introna, LD & Nissenbaum, H. Das Web gestalten: Warum die Politik von Suchmaschinen wichtig ist. Inf. Soc. 16, 169–185 (2000).

Artikel Google Scholar

Friedman B., Kahn PH, Borning A. & Huldtgren A. Wertesensibles Design und Informationssysteme. Frühzeitiges Engagement und neue Technologien: Öffnung des Labors. 55–95 (Springer, 2013).

Flanagan, M., Howe, DC & Nissenbaum, H. Werte im Spiel: Design-Kompromisse im sozial orientierten Spieledesign. Proz. SIGCHI Conf. Summen. Faktoren Comput. Syst. 2005, 751–760 (2005).

Artikel Google Scholar

Sengers, P., Boehner, K., David, S. & Kaye, JJ Reflektierendes Design. Proz. 4. Dez. Konf. Krit. Comput.: Sense Sensibility 2005, 49–58 (2005).

Google Scholar

DiSalvo C. Gegnerisches Design: Mit Press; 2015.

Agre, P. & Agre, PE Berechnung und menschliche Erfahrung. (Cambridge University Press, 1997).

Friedman, B. & Kahn, PH Jr. Menschliche Handlungsfähigkeit und verantwortungsvolles Rechnen: Auswirkungen auf das Design von Computersystemen. J. Syst. Softw. 17, 7–14 (1992).

Artikel Google Scholar

Nissenbaum, H. Rechenschaftspflicht in einer computerisierten Gesellschaft. Wissenschaft. Ing. Ethik 2, 25–42 (1996).

Artikel Google Scholar

Floridi, L., Cowls, J., King, TC & Taddeo, M. Wie man KI für das soziale Wohl gestaltet: sieben wesentliche Faktoren. Wissenschaft. Ing. Ethik 26, 1771–1796 (2020).

Artikel Google Scholar

Dolan, P. et al. Verhalten beeinflussen: der Mindspace-Weg. J. Wirtschaftspsychol. 33, 264–277 (2012).

Artikel Google Scholar

Kosters, M. & Van der Heijden, J. Vom Mechanismus zur Tugend: Bewertung der Nudge-Theorie. Auswertung 21, 276–291 (2015).

Artikel Google Scholar

Smith, HS et al. Eine Überprüfung des MINDSPACE-Rahmens zur Förderung der Gesundheitsförderung in frühen Phasen der COVID-19-Pandemie. Bevölkerungsgesundheitsmanagement, 2022.

Blumenthal-Barby, JS Zwischen Vernunft und Zwang: Ethisch zulässige Einflussnahme im Gesundheitswesen und gesundheitspolitischen Kontexten. Kennedy Inst. Ethik J. 22, 345–366 (2012).

CAS Google Scholar

Hausman, DM & Welch, B. Debatte: anstupsen oder nicht anstupsen. J. Polit. Philos. 18, 123–36. (2010).

Artikel Google Scholar

Sunstein CR Why anstupsen?: Die Politik des libertären Paternalismus: Yale University Press; 2014.

Witteman, HO et al. Systematische Entwicklung von Entscheidungshilfen für Patienten: ein Update aus der IPDAS-Zusammenarbeit. Med. Entscheidung. Mak. 41, 736–754 (2021).

Artikel Google Scholar

Dressel, J. & Farid, H. Die Genauigkeit, Fairness und Grenzen der Vorhersage von Rückfällen. Wissenschaft. Adv. 4, eaao5580 (2018).

Artikel Google Scholar

Zhang, W., Yang, T. & Tangi Perrault, S. Nudge zum Nachdenken: mehr als nur ein Kanal zu politischem Wissen. Proz. 2021 CHI Conf. Summen. Faktorenberechnung. Syst. 2021, 1–10 (2021).

Google Scholar

Weinmann, C. Messung des politischen Denkens: Entwicklung und Validierung einer Skala für „innere Überlegungen“. Polit. Psychol. 39, 365–380 (2018).

Artikel Google Scholar

Harbach, M., Hettig, M., Weber, S. & Smith, M. Verwendung persönlicher Beispiele zur Verbesserung der Risikokommunikation für Sicherheits- und Datenschutzentscheidungen. Proz. SIGCHI Conf. Summen. Faktoren Comput. Syst. 2014, 2647–2656 (2014).

Artikel Google Scholar

Menon, S., Zhang, W. & Perrault, ST Nudge for Deliberativeness: Wie Schnittstellenfunktionen den Online-Diskurs beeinflussen. Proz. CHI-Konferenz 2020. Summen. Faktorenberechnung. Syst. 2020, 1–13 (2020).

Google Scholar

Sujan M., Furniss D., Hawkins RD & Habli, I. Menschliche Faktoren beim Einsatz künstlicher Intelligenz im Gesundheitswesen: Herausforderungen, die sich branchenübergreifend erstrecken. Symposium für sicherheitskritische Systeme: York; 2020.

Sujan, M. et al. Herausforderungen menschlicher Faktoren für den sicheren Einsatz künstlicher Intelligenz in der Patientenversorgung. BMJ Health Care Inform. 26, e100081 (2019).

Referenzen herunterladen

KK-Q. berichtet über Zuschüsse der National Institutes for Health, des National Center for Advancing Translational Sciences (1R01TR004243-01) und der National Institutes for Mental Health (Nr. 3R01MH125958-02S1). SG meldet Zuschüsse der Europäischen Union (Fördervereinbarung Nr. 101057321 und 101057099), des National Institute of Biomedical Imaging and Bioengineering (NIBIB) der National Institutes of Health (Fördervereinbarung Nr. 3R01EB027650-03S1) und des Rock Ethics Institute Penn State University.

Zentrum für medizinische Ethik und Gesundheitspolitik, Baylor College of Medicine, Houston, TX, USA

Kristin M. Kostick-Quenet

Penn State Dickinson Law, Carlisle, PA, USA

Sarah Gerke

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Beide Autoren haben gleichermaßen konzeptionell zu diesem Artikel beigetragen. KK-Q. hat einen ersten Entwurf beigesteuert und SG hat zu den nachfolgenden Entwürfen schriftlich beigetragen.

Korrespondenz mit Kristin M. Kostick-Quenet.

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

Anmerkung des Herausgebers Springer Nature bleibt hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten neutral.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht durch gesetzliche Vorschriften zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Kostick-Quenet, KM, Gerke, S. KI in den Händen unvollkommener Benutzer. npj Ziffer. Med. Rev. 5, 197 (2022). https://doi.org/10.1038/s41746-022-00737-z

Zitat herunterladen

Eingegangen: 24. August 2022

Angenommen: 29. November 2022

Veröffentlicht: 28. Dezember 2022

DOI: https://doi.org/10.1038/s41746-022-00737-z

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein Link zum Teilen verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt