Zentrum für Künstliche Intelligenz in der Medizin

"Wer trägt eigentlich die Verantwortung?"

Juli 2023

Christoph Ammon befasst sich im Rahmen seiner Dissertation am Institut für Strafrecht und Kriminologie der Universität Bern mit dem immer enger verwobenen Zusammenspiel von Mensch und Maschine im Zuge der jüngsten Entwicklungen von KI-Technologie. Dabei erörtert er, wie gerade bei medizinischen Anwendungen die Verantwortung für eine Entscheidung und eine darauffolgende Handlung adäquat zugeschrieben werden kann und ob es sinnvoll wäre, eine KI als funktionale Rechtsperson zu definieren.

Christoph Ammon findet, dass mit der rasanten Entwicklung von KI viele Aspekte der Rechts-verantwortlichkeit von Technologie und Mensch überdacht werden müssen. (© CAIM, Universität Bern)

Christoph, worum geht es in deiner Forschung?
Grundsätzlich geht es um die Frage, inwiefern sich die Interaktion von Mensch und Maschine durch die aktuelle Technologie verschiebt von einem klaren Subjekt-Objekt-Verhältnis (wir haben Maschinen, die uns helfen, Aufgaben schneller, effizienter oder qualitativ besser zu erfüllen) hin zu einer Konstellation, wo menschliche Entscheidungsfähigkeit an Maschinen übertragen oder delegiert wird. Viele, bisher selbstverständliche Paradigmen werden aktuell hinterfragt. Was geschieht, wenn eine Maschine nicht mehr die menschliche Hand ersetzt oder ergänzt (wie bei einem Bohrer), sondern den menschlichen Geist und damit auch die menschliche Entscheidungsfähigkeit?

Bei grossen Datenmengen wie in der digitalisierten Medizin kann KI eingesetzt werden, um den Entscheid für eine Handlungsweise zu treffen. So kann sie etwa auf eine konkrete Diagnose hinweisen oder auf einen bestimmten Weg, wie eine medizinische Handlung durchgeführt werden soll. Auch in der Operationstechnik kommen zunehmend intelligente Systeme zum Einsatz, die immer selbständiger agieren können. Die Frage ist also vermehrt: Was verantwortet letztlich noch der Mensch und was die Maschine?

Momentan erhält die KI-Debatte mit den Large Language Models viel Wind. Mit meiner Forschung möchte ich einen Beitrag dazu leisten, die Sinne zu schärfen, was hier gerade technologisch passiert und dafür, dass eine rechtliche Regulierung unbedingt notwendig ist, um diese Entwicklung in gesellschaftlich verträgliche Bahnen zu lenken.

Für knifflige rechtliche und philosophische Fragen rund um seine Forschung konsultiert Christoph auch gerne die rechtswissenschaftliche Bibliothek im UniS.

Wieso ist das gerade in der Medizin ein schwieriges Thema?
In der Zulassung ist die Medizinaltechnik schon breit reguliert: Wenn eine Lösung auf den Markt kommt, muss sie in Bezug auf Sensitivität und Spezifität mindestens so gut wie eine Fachperson sein. Setzt eine Ärzt:in diese Technologie ein, schränkt das ihre Entscheidungsfähigkeit insofern ein, dass sie weiss: statistisch gesehen ist das Tool genauer als sie. Das hemmt sie möglicherweise, von dessen Empfehlung abzuweichen. Faktisch findet also eine Handlungsverschiebung vom Menschen zum Medizinalprodukt statt. Aber rechtlich trägt die Ärzt:in die Verantwortung.

Geht etwas schief, gibt es heute schon das Produkthaftpflichtrecht (ein Unternehmen kann haftbar gemacht werden bei einem Produktfehler). Aber wenn Neuronale Netzwerke entscheiden, deren interne Wirkungswiese wir nicht verstehen (Black Box) und welche auch nach Abschluss der Trainingsphase weiterlernen und ihr Verhalten anpassen, dann haben wir ein Problem mit dem Durchgriff zum Hersteller. Denn, wodurch kam es zum Fehler? Wurde ein falscher Datensatz zum Training verwendet, die KI falsch kalibriert oder ist das ganze Unternehmen haftbar? Sollten möglicherweise nur vollkommen nachvollziehbare KI-Anwendungen (XAI) in solchen Bereichen eingesetzt werden können?

Denkbar wäre hier, die KI als funktionale Rechtperson zu definieren. Dann hätte man ein Rechtssubjekt, das primär haftet und das man zivilrechtlich belangen könnte. Etwa durch eine Versicherungslösung, finanziert durch alle Beteiligten: also Hersteller, Nutzer oder einen Haftungsfonds, auf den zuvor eingezahlt wird. Das hätte auch einen Regulierungseffekt, denn Hochrisiko-KI würde wirtschaftlich nicht mehr einsetzbar. Ob dies in Abgrenzung zum aktuellen „risk-based approach“ der EU mit ihrem AI-Act sinnvoll wäre, ist Teil meiner Arbeit. Allerdings soll nicht primär die zivilrechtliche Haftungsfrage beantwortet werden, sondern die grundlegende Frage nach einem möglichen Personenstatus für KI, allenfalls sogar für strafrechtliche Verantwortlichkeit.

Die technologische Entwicklung schafft heute Entitäten, die rechtserheblich handeln können. Bereits 2017 hatte das Europäische Parlament einmal vorgeschlagen, Tools, die selbständig Handlungen vollführen, als e-Person zu definieren. Das stiess damals aber noch auf grosse Ablehnung, weil viele Anthropomorphismus witterten, also die Übertragung menschlicher Eigenschaften auf Maschinen. Aber (zumindest die aktuelle) Technologie hat keinen Willen. Deshalb sind Analogien, wenn überhaupt, eher zu den bestehenden „künstlichen“ juristischen Personen zu ziehen (z.B. AG und GmbH).

Wir müssen den technologischen Entwicklungen aus rechtlicher Sicht Rechnung tragen.

Wo siehst du die kniffligsten rechtlichen Fragen rund um KI?
Eine davon ist wohl die, die ich bearbeite. Wir müssen eine Grundsatzdiskussion darüber führen, wie wir dieses sehr offene Feld der neuen Tragweite der gesellschaftlichen Wirksamkeit der KI abstecken, um das Primat des Menschen in dieser technologisierten Welt zu erhalten. Möchte man sich in Bereichen, wo es um Leben und Tod geht, rein auf Statistik verlassen oder immer den „human in the loop“ sicherstellen?

Insgesamt geht es auch um politische Fragen, die schwer von rechtlichen zu trennen sind. Viele Probleme tauchen aktuell beim Urheberrecht und Immaterialgüter-Recht auf: Kann eine KI selbst Urheberin einer geistigen Schöpfung sein? Was ist mit den Urheberrechten der Personen, deren Werke für das Training oder den Input der KI genutzt wurden? Braucht es z.B. eine Art „Wasserzeichen“ in Datensätzen, um zu unterscheiden, was stammt von einer Maschine, was von einem Menschen?
Wir müssen diesen technologischen Entwicklungen aus rechtlicher Sicht Rechnung tragen. Es geht dabei auch darum, Vertrauen zu schaffen in einer Welt, in der Fiktion und Wahrheit verschwimmen.

(© CAIM, Universität Bern)

Christoph Ammon studierte an den Universitäten Freiburg, Bern und der University of British Columbia in Vancouver Rechtswissenschaften. Nach seiner Anwaltsausbildung in Bern, kehrte Christoph Ende 2020 als Doktorand an die Uni Bern zurück, um auf den Ergebnissen seiner Masterarbeit aufzubauen. 2024 plant er einen einjährigen Forschungsaufenthalt an der University of California, Berkeley.

Für seine Dissertation bei Prof. Martino Mona sucht Christoph derzeit den passenden rechtlichen Status von KI in der Gesellschaft – auch im Kontext der Medizintechnik und Medizinalrobotik. Dabei unterstützt ihn das ARTORG Center for Biomedical Engineering Research mit seiner breiten MedTech Expertise. Mit seiner Forschung hofft Christoph, einen Beitrag dazu zu leisten, grundlegende Fragen für die dringend notwendige Regulierung zu klären und so dabei hilft, KI sinnvoll und kollaborativ in die Gesellschaft einzubinden.