Christoph Sorge von der Universität des Saarlandes, ich habe noch zwei Minuten bei meinem Vortrag übrig, werde mich aber trotzdem ermünen möglichst viel abzudecken.

Trotzdem wird das kein kompletter Blick über alle Rechtsfragen sein, die damit zusammenhängen, denn alles, was Sie bisher gehört haben, hat eigentlich eine rechtliche Entsprechung. Beispielsweise was Frau Jentsch erzählt hat, strukturelle Überlegenheit einerseits, die Informationsasymetrien, all das ist natürlich auch rechtlich gespiegelt.

Ich habe mir jetzt einfach erlaubt, ein paar Punkte rauszupicken, die ich als besonders spannend empfand. Und das sind zwei Dinge. Einerseits algorithmische Entscheidungen in der Datenschutz-Grundverordnung und das andere ist das Thema Diskriminierung, das AGG. Fangen wir an mit der Datenschutz-Grundverordnung, von der vermutlich alle von Ihnen schon

mal gehört haben. In der Datenschutz-Grundverordnung geht es um Datenschutz. Datenschutz betrifft personenbezogene Daten. Ansonsten habe ich gar keine Anwendbarkeit der DSGVO. Aber das schränkt uns relativ wenig ein, wenn es um verbraucherbezogene Fragen geht.

Mich interessiert es als Verbraucher eigentlich nur, wenn eine Entscheidung mich betrifft und eine Entscheidung kann mich nur betreffen, wenn derjenige, der sie trifft, weiß, dass ich das bin. Mag seltene Ausnahmen geben, aber das ist zumindest der Grundsatz. Wir haben nun in der Datenschutz-Grundverordnung den Artikel 22, der ein Verbot

automatisierter Entscheidungen enthält oder ganz streng genommen dem Wortlaut nach die Einräumung eines Unterlassungsanspruchs gegen die automatisierten Entscheidungen, von dem es allerdings Ausnahmen gibt. Zu den Ausnahmen komme ich gleich. Zunächst mal die Frage, was ist eigentlich eine Entscheidung?

Das klingt nach einer blöden Frage. Ich sage Ja oder Nein, und dann ist das entschieden. Aber vielleicht mal folgendes Beispiel, das auch in der Literatur gebracht wird. Sie gehen an einen Geldautomaten, möchten 100 Euro abheben. Ihr Kontostand ist ausreichend, also entscheidet eine Software bei der Bank, jeden 100 Euro auszuzahlen.

Ist das eine Entscheidung? Ja, es gibt in der Literatur die Stimme, die sagt, naja, es ist eine triviale Wenn-Dann-Entscheidung, die ist damit nicht gemeint. Und das hat natürlich eine gewisse Rechtfertigung. Wenn sich überlegt, eigentlich saß da mal ein Mensch und hat gesagt, wenn der Kontostand ausreicht, dann soll das Ding auszahlen.

Da bleibt nicht viel Spielraum. Man könnte jetzt sagen, das ist eine Entscheidung, die auf Vorrat getroffen wurde. Die Maschine setzt nur noch etwas um. Wenn man diese Auffassung verfolgt oder diese Auffassung folgt, hat man natürlich die Folgefrage, wo ist denn da die Grenze für die Komplexität? Und das Geldautomaten Beispiel ist, finde ich da ein ganz gutes Beispiel, denn

was auch passieren kann, sie wollen an einem Geldautomaten 100 Euro abheben. Bisher haben sie aber nur in Hintertupfingen ihre Kreditkarte verwendet. Jetzt auf einmal sind sie in der Metropole in Berlin und da sagt das Fraud Detection Verfahren der Bank. Das kann ja nicht sein, dass dieser Provinz-Haini auf einmal nach Berlin

geht und da Geld abheben will. Scheint mir unplausibel. Das zahle ich jetzt nicht aus. Und sie können sich das Abendessen hier bei der Konferenz vielleicht nicht leisten. Das ist eine, die sie belastet, eine Entscheidung. Und weil da ein Fraud Detection Verfahren dahinter steckt, das irgendwann mal gelernt hat, wer sonst nur in Hintertupfingen oder in der Provinz

Geld abhebt, der geht nicht auf einmal in die Großstadt. Fiktives Beispiel. Ist da schon eine gewisse Komplexität drin und etwas, was man vielleicht nicht auf Anhieb nachvollziehen kann. Beispiel kam im vorherigen Vortrag Neuronalen Netze, wo es nicht unbedingt nachvollziehen kann, was genau da nun bei dem Fraud Detection

bei den Kreditkarten abhebung verwendet wird. Kann ich jetzt allerdings auch nicht sagen. Die nächste Frage ist, naja, wo geht es eigentlich los? Das entschieden wird im Abgrenzung zur Entscheidungsvorbereitung. Beispiel Ihre Hausbank zahlt Ihnen nicht mal 100 Euro aus, deshalb gehen Sie jetzt zu einem Kredithai und möchten einen Verbraucherkredit aufnehmen.

Auch da werden Daten von Ihnen erhoben. Und die Software kommt aufgrund dieser Daten zu dem Schluss, dass bei Ihnen ein besonders hohes Ausfallrisiko besteht. Na ja, wenn jetzt die Software daraufhin ihren Kreditantrag ablehnt, ist das wohl eine automatisierte Entscheidung.

Aber das passiert ja in der Regel nicht. Was oft passiert ist, die Software zeigt dem Sachbearbeiter an. Die Wahrscheinlichkeit ist sehr groß, dass der Kredit ausfährt und sagt ihm dann Ja, ich würde jetzt ablehnen, aber du kannst natürlich anders entscheiden. Dann lehnt der Sachbearbeiter ihren Antrag ab. Für Sie ist das ein Unterschied zu dem vorherigen Fall, schwer zu sagen.

Dritte Variante. Eigentlich ist das die zweite Variante nochmal, aber in dem Fall hat die Chefin des Sachbearbeiters vorher gesagt, die Maschine hat immer Recht. Und wenn du dich anders entscheidest als die Maschine, schön und gut. Aber wenn du damit falsch legst, dann wird es halt Konsequenzen geben.

Würden Sie dann noch sagen, ist das jetzt die Entscheidung der Maschine? Ist es die des Sachbearbeiters oder Variante die die Software zeigt das Ergebnis im Sachbearbeiter an? Die Chefin hat ihm gesagt, mach was du willst. Und der Sachbearbeiter hat sich in den letzten drei Jahren immer gedacht, am einfachsten ist es, wenn ich das mache, was die Maschine mir sagt.

Zeigt so ein bisschen die Problematik abzugrenzen. An welcher Stelle hat eigentlich die Maschine oder die Software entschieden? An welcher Stelle ist es der Sachbearbeiter? Nicht ganz einfache Abgrenzung. Die Literatur sagt im Wesentlichen dazu, dass ein gewisser eigener Entscheidungsspielraum des

Sachbearbeiters noch da sein muss. Wir haben allerdings auch von anderer Seite, kommt gleich noch gehört, dass das durchaus nicht immer so gesehen wird. Bemerkungen noch. Ich hatte gesagt, es gibt Ausnahmen von diesem Verbot der automatisierten Entscheidung. Die ist nämlich dann zulässig, wenn sie, also nicht die Entscheidung,

sondern die Tatsache, dass ich die Entscheidung automatisiert mache für Abschluss oder Erfüllung eines Vertrages zwischen betroffenen Personen und dem Verantwortlichen erforderlich ist. Damit habe ich also von diesem Verbot schon mal einen relativ großen Teil wieder ausgenommen. Andere Variante ist ausdrückliche Einwilligung des Betroffenen,

das über ihn automatisiert entschieden wird. Oder drittens, es könnten noch spezielle Rechtsvorschriften in einzelnen Rechtsgebieten geben, die es erlauben. Wenn ich das habe, dann muss es aber eine Schutzmaßnahme geben. Zumindest muss ich das Recht des Eingreifens einer Person erwirken können. Ich muss meinen eigenen Standpunkt darlegen können und

die Entscheidung anfechten können. Was heißt das? Was ist das Szenario, was dann passieren wird? Die Software kommt zu dem Ergebnis, dass bei ihnen ein hohes Ausfallrisiko besteht. Die Software legt ihren Kreditantrag ab. Aufgrund von Artikel 22, die SGVO muss ihnen der Kreditgeber die Möglichkeit geben, diese Entscheidung anzufechten. Sie tun das und der Sachbearbeiter entscheidet das

gleiche nochmal. Das führt dazu, dass bei uns auch im Gespräch mit der hessischen Landesdatenschutzaufsicht der Artikel 22 als stumpfes Schwert bezeichnet wurde, weil ich eben danach nicht mehr in die Köpfe der Menschen reingucken kann, ob die jetzt einfach ungeprüft die Entscheidung übernehmen.

Die Frage ist natürlich, was ist die Alternative? Ich komme gleich nochmal darauf zurück, dass eigentlich in der Studie wir auf sehr, sehr viele offene Fragen ihr gestoßen sind, als dass wir jetzt die Lösungen dafür gefunden hätten. Was es zudem noch gibt, ich habe bisher jetzt über die

europäische Ebene gesprochen. Es gibt auch im Bundesdatenschutzgesetz auf nationale Ebene eine Regelung zum Scoring in Paragraph 31. Da ist ein bisschen umstritten, ob und in welchem Umfang das überhaupt mit dem europäischen Recht, mit der DSGVU vereinbar ist. Aber gehen wir mal davon aus, im Kern und mit einer entsprechenden Auslegung kann man es damit vereinbaren.

Was ist denn die Regelung? Im Wesentlichen darf ich nicht ausschließlich auf Anschriftendaten zurückgreifen. Wenn ich auch nebenan und auf Anschriftendaten zurückgreife, muss ich zumindest den Betroffenen informieren. Und der letzte Punkt, der am interessantesten ist, die

genutzten Daten sind unter zugrundelegend eines wissenschaftlich anerkannten mathematisch-statistischen Verfahrens nachweisbar für die Berechnung der Wahrscheinlichkeit des bestimmten Verhaltens erheblich. Während Sie jetzt zurückdenken an die vorherigen Vorträge, werden Sie auch feststellen, ganz klar ist auch das nicht. Ich glaube, Frau Jentsch hatte darauf hingewiesen, dass es

Ebenfälle gibt, dass es nicht eine Variable gibt, die einen sehr großen Einfluss auf die Entscheidung hat, sondern in vielen Fällen. Das ist ja die Idee hinter Big Data. Gibt es vielleicht 100 Variablen und jede hilft so ein kleines bisschen. Wie klein darf dieses kleine bisschen sein, dass diese Variable

beiträgt zur richtigen Entscheidung, dass es noch akzeptiert wird? Das ist eine offene Frage, die vielleicht auch gar nicht so wichtig ist, weil man oft gar nicht so genau reinschauen kann, dass man das beurteilen könnte. Aber jedenfalls ein Punkt, der noch zu beantworten wäre. So viel zum Datenschutzrecht zu merken, ist es ein Minimal-Überblick.

Ich möchte aber noch ganz, ganz kurz auf ein anderes Thema eingehen, dass auch die Kollegen aus dem letzten Vortrag Bernhard Matthias schon erwähnt haben, das Thema Diskriminierung. Wir haben das allgemeine Gleichbehandlungsgesetz, dass Diskriminierung oder in der Terminologie des Gesetzes genaue Benachteiligungen aufgrund bestimmter Kriterien wie zum

Beispiel ethnische Herkunft oder Geschlecht verhindern sollen. Das gilt jetzt nicht für alle Rechtsgebiete, aber es hat im Zivilrecht einen aus meiner Sicht recht breiten Anwendungsbereich und es gilt vor allem, wenn es gilt, unabhängig davon, ob die Entscheidungen von Menschen

oder von Algorithmen getroffen werden. Es unterscheidet nun zwischen einerseits unmittelbaren Benachteiligungen. Ich werde direkt wegen eines dieser Kriterien benachteiligt. Also beispielsweise kann ich zeigen, wenn ich ansonsten alle Daten identisch reinfüttere, aber das Geschlecht ändere

von Mann zu Frau, dann ändert sich die Entscheidung. Dann ist das ziemlich deutlich eine Entscheidung wegen dieses Kriteriums und das kriege ich mit so einem Test einfach raus. Problematisch wird es bei der mittelbaren Benachteiligung, auch das habt ihr erwähnt, dem Anschein nach ist das

Verfahren neutral. Also es ist vielleicht blind, es kennt das Kriterium Geschlecht gar nicht. Aber es entscheidet trotzdem häufiger zum Nachteil von Frauen. Klassisches Beispiel ist, dass man diese Proxy-Variable hat. Teilzeitbeschäftigung im Arbeitsrecht, weil ein sehr großer

Anteil der Teilzeitbeschäftigten Frauen sind, dass eine Regelung die Teilzeitbeschäftigte benachteiligt, benachteiligt damit tendenziell Frauen und wenn ich dafür keinen sachlichen Grund habe, dann ist das zunächst mal verboten. Das ist in manchen Fällen zwar vielleicht noch deutlich, aber es ist tatsächlich schon schwierig nachweisbar.

Gut, ich habe im AGG unter Umständen eine Regelungsbeweislastverteilung. Das heißt, ich drehe dann eventuell dieses Nachweisproblem um, aber ich habe jedenfalls ein Problem rauszufinden. Ist das jetzt wirklich eine Diskriminierung? Ja oder nein? Zum Teil wird in der Rechtsprechung gesagt, wir brauchen da einen statistischen Nachweis für diese mittelbare

Nachteiligung. Genaue Kriterien sind aber sehr selten darin enthalten. Also was soll jetzt statistisch signifikant genau nachgewiesen werden? Was ist das Kriterium, das der Mathematiker untersuchen muss in diesem Test? Es ist auch nicht ganz einfach, das durch Test nachzuweisen,

außer ich hätte halt die Möglichkeit, wie eben dargestellt, diese große Testdatensätze zu generieren. Wenn ich nämlich beispielsweise sehr kleine Gruppengrößen habe, wenn ich jetzt nicht untersuche, wird in Deutschland diskriminiert bei der Kreditvergabe, sondern diskriminiert die Stadtsparkkasse hinter Topfingen mit ihren 300 Kunden, dann ist mir vielleicht

die Fallzahl zu klein oder ich untersuche Ergebnis offen, nicht ein Kriterium, sondern alle möglichen Kriterien. Also ich schaue, ob Frauen benachteiligt werden. Ich schaue, ob Ausländer benachteiligt werden. Ich schaue, ob Ossis oder Wessis benachteiligt werden.

Also da würde ich ja sehr, sehr viele Tests machen müssen. Und unter Umständen sagt auch jemand, naja, ich möchte keine muslimischen Frauen bei mir haben in der Firma, deshalb benachteilige ich aufgrund der Kombination Geschlecht und Religion. Das alles zu untersuchen wird statistisch schwierig,

weil ich eben damit in sehr, sehr kleine Gruppengrößen gerate und damit keine belastbaren Nachweisen mehr führen kann. Oder nicht mehr ohne Weiteres zumindest. Da sind jetzt eigentlich alles keine neuen Probleme. Also eigentlich hat man das ja, wenn ein Mensch entscheidet, genauso. Das Problem ist oder der Unterschied ist, ich kann den Menschen halt nicht in den Kopf gucken und

muss dann irgendwann hinnehmen, dass das so ist. Jetzt habe ich eben die Chance, genauer hinzuschauen und mir zu überlegen, sollte ich jetzt Testverfahren vorschreiben, was ich vielleicht bei dem entscheidungsfinder, dem menschlichen Entscheidungsfinder bisher nicht machen konnte. Bisher musste ich mich darauf verlassen, dass der so was draufschreibt auf die Bewerbe irgendwie, auf die Unterlagen. Nein, Frau nehme ich nicht oder so. Dann habe ich es relativ klar.

Aber das ist natürlich eher die Ausnahme. Also ist das sichtbar werden der Probleme. Es ist oder ein Teil dieser Fragen ist in diesem XKCD Comic illustriert worden, wo es auch um eine statistische Untersuchung geht. Und da wird dann im Nachhinein die Fragestellung geändert und ich gehe auf sehr, sehr kleine Teilgruppen, in dem Fall übersetzt in den

deutschen Kulturkontext, dass Gummibärchen Akne verursachen und dann hieß es im nächsten Schritt untersucht man, ob Gummibärchen eine bestimmte Farbe Akne verursachen und dann untersucht man 20 verschiedene Farben und irgendwann findet man halt mal zufällig den statistisch signifikanten Treffer, aber ohne dabei wirklich einen sauberen Nachweis geführt

zu haben. Ich hatte erwähnt, das ist eine der offenen Fragen allgemein. Vielleicht ist Artikel 22 DSGVO nicht ausreichend. Er ist ein stumpfes Schwert, aber gibt es Alternativen, sollte ich vielleicht stärker regulieren, allgemeiner kann ich eine Balance finden zwischen der Nutzung der Chancen von

Big Data, dem Schutz des Einzelnen. Wie sieht es bei Diskriminierung aus? Wie könnten Transparenzverpflichtungen aussehen, anschließend an den technischen Vortrag und schließlich auch wo setze ich die Durchsetzung an? Soll es eine Bundesbehörde für Algorithmen geben oder dergleichen? All das ist noch offen.

Wir haben viele dieser offenen Fragen in der Studie dargestellt. Kollege Borges wird morgen auch nochmal, glaube ich, darauf eingehen. Damit lasse ich sie, glaube ich, jetzt zurück mit mehr Fragen als Antworten. Hoffe aber, dass das okay so ist. Wir haben ja auch ein bisschen Diskussion später und freue mich auf den nächsten Vortrag.