Ehtik - Automatisierte Entscheidungen & Datendiskriminierung
This is a modal window.
The media could not be loaded, either because the server or network failed or because the format is not supported.
Formal Metadata
| Title |
| |
| Title of Series | ||
| Number of Parts | 79 | |
| Author | 0009-0008-1005-5159 (ORCID) | |
| License | CC Attribution 4.0 International: You are free to use, adapt and copy, distribute and transmit the work or content in adapted or unchanged form for any legal purpose as long as the work is attributed to the author in the manner specified by the author or licensor. | |
| Identifiers | 10.5446/65554 (DOI) | |
| Publisher | ||
| Release Date | ||
| Language | ||
| Production Year | 2023 | |
| Production Place | Heinrich-Heine-Universität Düsseldorf |
Content Metadata
| Subject Area | ||
| Genre | ||
| Abstract |
| |
| Keywords |
12
17
18
34
36
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
56
58
59
61
63
66
67
68
69
71
74
75
78
79
00:00
PerimeterInternetDecision theoryAlgorithmSound effectArtificial intelligenceJSONXMLComputer animationLecture/ConferenceMeeting/Interview
02:59
Artificial intelligenceWordDecision theoryExpert systemRow (database)Spring (hydrology)Electronic data processingHöheLecture/ConferenceComputer animation
06:36
Decision theoryScalar potentialComputer programmingZusammenhang <Mathematik>Physical quantityAlgorithmProcess (computing)PredictionSystems <München>FactorizationRow (database)Potential gameLecture/ConferenceComputer animationMeeting/Interview
09:55
AlgorithmArtificial intelligenceCorrelation and dependenceComputer scienceWalkthroughComputer animationXML
Transcript: German(auto-generated)
00:11
KI hilft uns in vielen wichtigen Bereichen mit großen Datenmengen zurechtzukommen. Diese Datenmengen nutzen KI-Systeme als Grundlage, um uns bei Entscheidungen zu
00:21
helfen. Das können Entscheidungen für banale Dinge sein, wie welche Songs passen gut in meine Herzschmerz-Playlist. Oder aber Entscheidungen, die uns nachhaltig betreffen und beeinflussen, wie zum Beispiel bekomme ich den Kredit. Beispielsweise in der Medizin, im Recht oder auf dem Arbeitsmarkt werden KI's bereits genutzt oder getestet, um uns
00:41
in Entscheidungsfindungsprozessen zu unterstützen. Gleichzeitig werden aber leider auch immer mehr diskriminierende Effekte durch KI's bekannt, die uns bewusst machen, dass natürlich auch Datensammlungen und Algorithmen Teil der Gesellschaft sind und damit gesellschaftliche Diskriminierung reproduzieren.
01:01
Diese Diskriminierungseffekte werfen ethische oder moralische Fragen dazu auf, wie, ob und in welchem Umfang künstliche Intelligenz Entscheidungen für den Menschen treffen darf oder sollte. Besonders dann, wenn die Rede von automatisierten Entscheidungen ist. In unserer traditionellen Wahrnehmung
01:24
haben vor allem andere Menschen oder wir selbst über bestimmte gesellschaftliche Prozesse entschieden. Andere Personen haben beispielsweise entschieden, ob wir den Job bekommen, für den wir uns geworben haben. Richterinnen und Richter haben darüber entschieden,
01:40
wie das Urteilsmaß in Gerichtsprozessen ausfällt. Und Ärzte und Ärztinnen waren dafür verantwortlich, die passende Behandlung für unsere Erkrankungen zu empfehlen. Es werden bereits immer mehr KI-Systeme genutzt, um Menschen diese Entscheidungen zu vereinfachen. Ein spannendes und
02:00
heiß diskutiertes Feld sind die sogenannten automatisierten Entscheidungen. Also Entscheidungen ohne jeglichen menschlichen Einfluss. Hier mal ein Beispiel für solch einen Entscheidungsprozess durch ein KI-System. Das Amazon Beispiel.
02:20
Amazon hat 2018 Gebrauch von automatisierten Entscheidungen durch ein KI-System gemacht. Dieses KI-System hatte den ursprünglichen Zweck, die Bewerbungsprozesse bei Amazon zu einfachen und eine Vorauswahl aus den eingegangenen Bewerbungen zu treffen. Dieses KI-System wurde durch eine Datenlage aus Lebensläufen vergangener Bewerberinnen und Bewerber
02:42
trainiert. Mit dem Wissen aus diesen Daten suchte das KI-System dann im Internet potenzielle Kandidaten und Kandidatinnen, die der Personalabteilung vorgestellt wurden. Das Entwicklungsteam des KI-Systems musste allerdings feststellen, dass das System Frauen in dieser Vorauswahl
03:00
benachteiligt. Eine Erklärung dafür. Die Daten, mit der das KI-System trainiert wurde, bestehen hauptsächlich aus den Bewerbungen von Männern. Die KI hat daraus gelernt, dass Männer Frauen in Bewerbungsprozessen vorgezogen werden sollten, um vielversprechendere Mitarbeiter und Mitarbeiterinnen einzustellen. Die KI hat zum
03:21
Beispiel Bewerbungen mit den Worten Frau herausgefiltert. Das Projekt wurde daraufhin von Amazon beendet. Das Vertrauen an die KI ist verloren gegangen. Im schlechtesten Fall könnte diese KI also genutzt werden, um gezielt Menschen aus Bewerbungsprozessen auszuschließen,
03:40
was umgekehrt auch natürlich bedeuten würde, dass bestimmte Bevölkerungsgruppen einen Vorteil hätten, Jobs zu bekommen. Eine ethische Frage könnte hier also sein, sollen wir KI benutzen für solche Bewerbungsprozesse auch auf die Gefahr hin, dass sie bestimmte Menschen ausschließen könnte? Das war jetzt ein eher negatives
04:00
Beispiel für automatisierte Entscheidungen. Das zeigt, dass verzerrte Datensätze ein Problem sein können. Expertinnen und Experten erhoffen sich aber durchaus auch Vorteile durch diese automatisierten Entscheidungsprozesse. Erhoffte Vorteile sind
04:22
beispielsweise eine schnellere Datenverarbeitung und Auswertung. Gerade in Verwaltungsprozessen könnten automatisierte Entscheidungen das System entlasten. Keine Nummern ziehen mehr auf dem Amt. Entscheidungen könnten quasi in Echtzeit getroffen werden. Ein KI-System kann mit einem größeren Gesamtwissen ausgestattet
04:41
werden, also mehr Quellen für Entscheidungen heranziehen. Auf der einen Seite erhofft man sich von diesem KI-System einen rationalen Umgang mit Daten. Maschinen sind nicht emotional involviert. Auf der anderen Seite hat die Vergangenheit gezeigt, dass schlechte Trainingsdaten und einprogrammierter Bias eben
05:01
doch noch den Einfluss von menschlichen Wirken in KI aufweist. Außerdem ist ein KI-System nur so gut, wie die Daten, mit der es trainiert wurde. In der Medizin zum Beispiel arbeiten Ärzte und Ärztinnen oft mit vieldeutigen Symptomen. Diese zu erkennen und eine Diagnose zu stellen, ist sehr komplex. Die Frage ist
05:20
also, kann eine KI überhaupt genug aus Daten lernen oder menschliches Denken reproduzieren, um diese komplexen Diagnosen zu stellen? Oder im Fall von juristischer Entscheidungsfindung, können Dinge wie Gerechtigkeitsempfinden oder Resozialisierungschancen überhaupt algorithmisch erfasst werden? Aus dem Amazon-Beispiel wird außerdem
05:42
folgendes ersichtlich. Das Vertrauen in KI-Systeme ist sehr fragil. Es heißt ja aber sehr schön, aus Fehlern lernt man. Das gilt auch für KI-Systeme. Erlauben wir also, KI-Systeme in Zukunft aus Fehlern zu lernen, auch in Bereichen, in denen Fehler hohe Kosten haben? Darf eine KI beispielsweise
06:00
aus Fehlern lernen, die Menschenleben beeinträchtigen? Hier ein kurzer Einschub. In Deutschland müsste sich im übrigen erstmal die Gesetzeslage ändern, wenn wir künstliche Intelligenzen, vollautomatisierte Entscheidungen treffen lassen wollen. Unter anderem, weil Artikel 22 Absatz 1 der DSGVO folgendes sagt.
06:21
Die betroffene Person hat das Recht, nicht einer ausschließlich auf einer automatisierten Verarbeitung, einschließlich Profiling, beruhenden Entscheidungen unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. In den USA werden solche automatisierten KI-Systeme beispielsweise in der
06:41
Polizeiarbeit bereits genutzt oder getestet. Das USA-Beispiel. In den USA wird das sogenannte Predictive Policing stark diskutiert. Predictive Policing ist die Praxis unterstützt durch KI-Systeme beispielsweise, Voraussagen über das kriminelle Potential einer Person oder Voraussagen über mögliche Verbrechen
07:03
zu tätigen. Größere USA-Polizeibehörden experimentieren schon länger mit KI als Hilfe zur Verbrechensbekämpfung. Dabei haben verschiedene Studien gezeigt, dass dies bestehende systemische Rassismen oder schon reproduziert. Dabei basiert Predictive
07:21
Policing meist entweder auf standortbasierten Auswertungen oder personenbezogenen Daten. Algorithmen werten Zusammenhänge zwischen Orten und Verbrechensraten aus oder Daten wie Herkunft, Alter, Vorstrafen etc. Richterinnen und Richter können beispielsweise KI nutzen, um eine Angabe darüber zu erhalten, wie wahrscheinlich
07:41
die Rückfallquote für eine angeklagte Person ist und darauf basierend das Strafmaß aussprechen. US-amerikanische Polizistinnen und Polizisten erhoffen sich von KI-Systemen, dass es ihnen ermöglicht einzugreifen, bevor eine Straftat überhaupt erst begangen wird. Wie in vielen Fällen der automatisierten
08:01
Entscheidungen sind auch hier die Trainingsdaten das große Problem, denn diese speisen die KI mit verzogenen Verhaftungsstatistiken, die keine systemischen Faktoren oder diese nur begrenzt mit einbeziehen. In den USA bedeutet das beispielsweise, dass schwarze Menschen eine mehr als zweimal so hohe Wahrscheinlichkeit haben, verhaftet zu werden. Es ist auch nicht
08:22
unüblich, dass es eine überdurchschnittlich hohe Polizeipräsenz in Stadtteilen mit überwiegend schwarzer Bevölkerung gibt. Auch diesem Beispiel liegt die Annahme zugrunde, dass KI's uns helfen, weil sie objektiver sind als Menschen. Wir trainieren aber die KI-Systeme oft mit verzerrten Datensätzen und den
08:41
IECs, die in uns allen existieren. Das menschliche Wirken in den Prozessen von KI darf also nicht unterschätzt werden. Deswegen ist es sehr wichtig, dass wir uns fragen, wer, also Mensch oder Maschine, solche Entscheidungen trifft. Auch sollten wir uns mit der Frage beschäftigen, ob wir
09:01
vollautomatisierten Systemen diese Entscheidungen gänzlich überlassen wollen oder ob es den Menschen braucht, um diese Entscheidungen zu überwachen oder zu kontrollieren, also als Endentscheiderinnen und Endentscheider. Sollten wir uns dazu
09:21
entscheiden, KI-Systemen in weiteren Bereichen unserer Gesellschaft Entscheidungen zu überlassen, dann müssen wir vorsorgen und sichergehen, soweit das denn möglich ist, dass sie dadurch niemanden diskriminieren. Dabei helfen können korrekte und inklusive Trainingsdaten, eine Leitung und Optimierung durch Fachexpertinnen
09:42
und Fachexperten und nachvollziehbare, also transparente, Algorithmen. Außerdem hilft eine offene gesellschaftliche Debatte über die Potenziale und Risiken dieser automatisierten Entscheidungsfindung.
Recommendations
Series of 2 media