Ja, ich begrüße Sie alle recht herzlich zur heutigen Vorlesung, erster Vorlesung nach Ostern. Ich hoffe, Sie haben die Osterfeiertage gut überstanden. Ich habe Ihnen beim letzten Mal noch vorgestellt, was wir heute beweisen werden, ein Slow-Rate-Resultat.

Hat die folgende Aussage, wenn Sie eine beliebige Folge von Schätzfunktionen haben und auch eine beliebige monoton gegen Null fallende Folge reeller Zahlen, dann finden Sie immer eine Verteilung von x,y, wo x gleich verteilt auf 0,1 ist,

y gleich m von x ist für eine 0,1-wertige Funktion m, so dass der Lime superior vom erwarteten L2-Fehler geteilt durch An größer gleich 1 ist. Das heißt, dieser erwartete L2-Fehler konfigiert in dem obigen Sinn langsamer gegen Null als dieses An.

Als Hilfsresultat hatten wir ein deterministisches Lemma, Lemma 2.1. Zu jeder Folge An mit ein Viertel größer gleich A1, größer gleich A2 und so weiter, An konfigiert gegen Null. Existiert eine Zählefolge pj, j Element n so, dass für alle genügend großen n gilt, de facto eigentlich sogar für alle n.

Summe j gleich 1 bis endlich 1 minus pj hoch n mal pj größer gleich An. Also warum das sogar für alle n gilt, werden Sie in den Übungen sehen. Da werden Sie die entsprechende Monotonie von 1 minus 1 durch n hoch n zeigen, indem Sie zeigen,

dass 1 minus 1 durch x hoch x monoton fallend ist für x größer gleich 1 als Funktion der reellen Variablen x. Mithilfe von dem Lemma können Sie da oben dieses An ersetzen durch diese spezielle Folge.

Summe j gleich 1 bis endlich 1 minus pj hoch n mal pj. Und genauso gut können Sie dieses An, weil das An Anfang ja beliebig war, auch ersetzen durch einen beliebigen Bruchteil von dieser speziellen Folge. Und das werden wir im folgenden Beweis ausnutzen. Das Ganze gibt dann auch wieder eine Prüfungsfrage, das lege ich jetzt nicht aus.

Erläutern Sie das in der Vorlesung behindertes Low-Grate-Resultat. Das heißt, Sie müssten die Aussage von Satz 2.1 erläutern. Gut, dann kommt mal das wieder weg und wir fangen an mit Beweis von Satz 2.1.

Ich weiß gar nicht, brauchen wir noch ein bisschen Licht vielleicht? Oder brauchen wir kein Licht?

Kommen wir zu Beweis von Satz 2.1.

Im ersten Schritt werde ich die Klasse der betrachteten Verteilungen etwas einschränken.

Genauer werde ich die betrachteten Verteilungen parametrisieren durch zwei Sachen. Erstens eine Zähldichte, das wird später auf diese, in Abhängigkeit von dieser Zähldichte pj werden wir eben als untere Schranke, diese Summe j gleich 1 bis endlich 1 minus pj hoch n mal pj bekommen.

Und eines Parameters c, der aus einer unendlichen Folge von minus eins und eins besteht. Also erster Schritt. Wir definieren uns in Abhängigkeit von einer Zähldichte pj, j aus n und eines Parameters c, eine Verteilung von xy.

Wir definieren uns in Abhängigkeit einer Zähldichte pj, j aus n und eines Parameters c.

Und dieses c ist jetzt eine ganze Folge von so cj, j aus n, die alle aus minus eins und eins sind.

Und ich schreibe das so, dass diese Folge ist eben, fasse ich auf, als eine Abbildung von n nach minus eins und eins. Das heißt, ich schreibe hier das Element von Menge minus eins, eins, oben

n als Abkürzung für alle Abbildungen von den natürlichen Zahlen nach minus eins, beziehungsweise alle Folgen mit Elementen in minus eins, eins. Also in Abhängigkeit von diesen beiden Sachen definieren wir uns eine Verteilung von xy.

Dazu als erstes nehmen wir die Zähldichte pj zu Hilfe

und partitionieren mit Hilfe von dieser Zähldichte pj das Intervall von 0 bis 1 in Intervale aj, wobei das Intervall aj genau die Länge pj hat. Was genau die Grenzen von aj sind, ob die dazugehören oder nicht, ist mir egal. Also partitioniere 0 bis 1 in Intervalle aj der Länge pj.

Dann wählen wir x als gleich verteilt auf 0 bis 1.

Und wir setzen dann y als eine Funktion von x. Diese Funktion indiziere ich mit dem Vektor c und setze, wenn ich wollte, es als m oben c.

Wobei dieses mc muss ich jetzt eben definieren. Das ist eine Funktion von 0 bis 1 in die Zwei-Punktmenge minus eins, eins.

Und die Funktion ist stückweise konstant auf den Intervallen aj.

Und auf aj stimmt eigentlich mc mit cj überein. Also mc von x ist eins, falls x in aj ist ein cj gleich eins. Und mc von x ist minus eins, falls x in aj ist ein cj gleich minus eins.

Okay, also was haben wir gemacht? Wir haben anfangs 0 bis 1 partitioniert in Intervalle der Länge pj. Die habe ich als aj gewählt, bezeichnet. Dann habe ich x als gleich verteilt auf 0 bis 1 gewählt. Dann habe ich gesagt, y ist eine Funktion mc von x.

Wobei dieses mc von x eben gleich eins ist, falls x in aj ist und cj gleich eins ist. Und minus eins ist, falls x in aj ist und cj gleich minus eins. Das heißt, meine Verteilung von x ist eigentlich fest.

Einfach eine Gleichverteilung auf 0 bis 1. Und meine Parameter c und die zähldichte pj bestimmen die Regressionsfunktion. Dieses mc von x.

Okay, Fragen soweit? Okay, wieso hängt das m nicht von j an, welches aj nehmen wir?

Wenn Sie ein x haben, als x aus 0 bis 1, dann wählen Sie dasjenige j, wo x in aj drin liegt. Das ist eindeutig bestimmt, weil die aj sind ja eine Partition. Und dann gucken Sie nach cj, um den Funktionswert zu wählen.

Also in dem Sinne eigentlich keine Definition. In dem Sinne, wie man es klassisch hinschreiben würde, x der Menge das da. Sondern das ist eine definierende Eigenschaft. Also für alle j soll gelten, falls x in aj ist, dann ist mc von x eben gleich cj.

Okay, und was ich jetzt zeige, wenn ich hier das pj und das cj geeignet wähle, dann ist der erwartete L2-Fehler von meinem beliebig vorgegebenen Schätzer eben größer als diesen a n für n hinreichend groß.

Also zweiter Schritt. Als zweiten Schritt entschätzen wir jetzt den Erwartungswert von erwarteten L2-Fehler für diese Verteilung von x, y ab. Zweiter Schritt. Wir schätzen erwarteten L2-Fehler.

Wir schätzen den Erwartungswert von Integralbetrag von mn von x minus m von x, px dx für die Verteilung aus erstens nach unten ab.

Wobei eben unser mn unser beliebig vorgegebener Regressionen Schätzer war. Beachten Sie, dieses x ist eigentlich eine Gleichverteilung auf 0,1.

Das heißt, ich könnte hier auch einfach ein dx schreiben. Das ist ein ganz normales Lebes integral. Das sind eigentlich integral von 0 bis 1, mn von x minus m von x zum Quadrat d x. Ich schreibe trotzdem die ganze Zeit px dx.

Das erste, was ich mache, ich projiziere dieses mn auf die Menge aller Stückweise bezüglich aj konstanten Funktionen.

Und nutze dann aus der L2-Fehler hier, ist der L2-Fehler von der Projektion plus L2-Differenz zwischen Funktion mn und der Projektion.

Die Projektion kann ich unmittelbar hinschreiben. Die Projektion soll konstant sein auf jeder der Mengen aj. Die ideale Konstante ist einfach der Durchschnittswert. Das heißt, ich integriere über ganz aj das mn von x und teile durch das Volumen von aj.

Also setze n Schlange von x gleich 1 durch pj mal integral über aj n von x dx für x aus aj.

Das heißt, mn Schlange ist die L2-Projektion von mn.

Das ist ja eigentlich ein Standard-L2-Räumen mit integral bezüglich dem Lebesmaß, weil dieses px dx ist einfach nur ein dx. Dieses pj ist das px von aj, das ist das Volumen von aj, also die Länge von aj. Das ist die L2-Projektion von der Funktion auf das andere.

Was gilt dann? Dann gilt, wir können diesen L2-Fehler einfach zerlegen. Ich betrachte nun mal das integral über aj und sage, das ist das gleiche wie das

integral über mn minus mn Schlange zum Quadrat plus das integral über mn Schlange minus m.

Und das gilt eben, Sie spalten mit dem übrigen Trick auf. Sie betrachten mn von x minus m, schreiben es nun mal als mn minus mn Schlange plus mn Schlange minus m, multiplizieren aus, bekommen zwei Quadrate und zeigen dann integral über den gemischten Termen ist gleich 0.

Und das mache ich am besten auf der nächsten Zafel. Das machen wir vielleicht direkt drunter. Wenn ich mir das angucke, integral über aj.

Ich behaupte, dieses integral, was da steht, ist gleich 0. Sieht das jemand von Ihnen?

Ach so, und ich müsste eigentlich die ganze Zeit mc schreiben. Das ist eigentlich falsch, so wie ich das mache. Haben wir hier irgendwo eine Farbe? Eine blaue Farbe maximal. Ich wollte eigentlich die ganze Zeit mc schreiben.

Also ich wollte hier mc schreiben, weil das ein m mit oberen Index 10 klammert.

Die hintere Klammer ist auf aj konstant, genau. Und die vordere integriert dann zu 0. Das heißt, wenn wir angucken, dieses mc war ja auf aj konstant.

Dieses mn Schlange, genauso ist der Durchschnittswert von mn auf aj, ist auch konstant. Das heißt, das da ist konstant.

Dann kann ich mir sagen, ich schnapp mir irgendeinen beliebigen Wert aus aj. Ich nenne ihn mal xj. xj ist aus aj beliebig. Dann kann ich das rausziehen.

Dann bleibt noch das integral über das andere übrig. Das integral über aj.

Und jetzt gucken Sie sich das an. Es gibt das erste, es gibt ganz klar das integral über mn von x, px dx, integriert über aj.

Und davon ziehen wir ab. Das integral über mn Schlange, px dx, integriert über aj. Ja, aber mn Schlange ist ja konstant. Das heißt einfach der Funktionswert von mn Schlange. Der Funktionswert von mn Schlange ist dieses 1 durch pj mal integral über aj, mn von x, px dx.

Und das noch integriert über aj. Der Volumen von aj oder der px Maß von aj wäre weil, px war ja die Gleichverteilung, aj war ein Intervall der Länge. pj ist gerade pj. Das heißt, ich kriege noch einen Faktor pj. Das kürze ich weg. Dann steht da auch das gleiche.

Und Sie sehen, das Ganze ist gleich null.

Okay, Fragen soweit?

Ja, wäre natürlich die Frage, was bringt das Ganze? Naja, ganz einfach. Ich kann von dem, ich weiß, dieser L2-Fehler von dem mn ist größer als der L2-Fehler von dem mn Schlange. Das heißt, ich kann von diesem Integral über aj übergehen zum Integral über mn Schlange.

Und da kenne ich ja, mn Schlange ist ein konstanter Wert, ein cj ist ein konstanter Wert. Also das kann ich hinschreiben eigentlich. Machen wir mal das. Also daraus folgt jetzt, das ist größer gleich dem Wert, weil das erste Integral,

ist ja weil der Integrant größer gleich null ist, größer gleich null, größer gleich dem zweiten Integral.

Die beiden Werte sind konstant. Mc von x ist gleich cj auf aj. Mn Schlange von x greife ich einfach irgendeinen Zwischenwert wieder raus.

Vielleicht ist xj, das ist mn Schlange von xj. Das heißt, hier kommt raus, Schlange von xj minus cj zum Quadrat mal px von aj, das ist pj.

Fragen soweit?

Als nächstes verwende ich nun dieses mn Schlange, um das cj vorherzusagen. Das heißt, ausgehend von dem mn Schlange von xj, dem konstanten Funktionswert,

bastel ich mir eine Vorhersage für cn, für cj. Wenn Sie überlegen, cj hat das Vorzeichen, hat nur die Werte plus eins oder minus eins. Sie haben jetzt von dem mn den Durchschnittswert beobachtet, das war das mn Schlange von xj.

Was würden Sie als Vorhersage nehmen für cj? Also ich brauche jetzt so ein cn, j Dach irgendwie und möchte eine Vorhersage haben,

die nur die Werte plus eins oder minus eins annimmt, je nachdem, was das Vorzeichen von dem mn Schlange von xj ist. Wenn es größer gleich null ist, sage ich eins vorher, wenn es kleiner null ist, sage ich minus eins vorher. Also falls, ich habe es hier so ausführlich geschrieben, mn Schlange von xj,

das heißt, dass größer gleich null ist und null sonst. Und jetzt schätze ich den Fehler hier nach unten ab durch den Vorhersagefehler von cn, j Dach.

Und dann hinterher werden wir zeigen, dass wir mit diesem cn, j Dach eben, dass wir diese cj nicht besonders gut vorhersagen können. Weil das wird letztendlich der Trick sein, um unsere untere Schranke zu bekommen.

Also was ich zeigen möchte, ist, dass dieses mn Schlange von xj minus cj zum Quadrat

größer gleich ist als der Indikator, dass cn, j Dach ungleich cj ist.

Und das machen wir mit einer einfachen Fallunterscheidung. Also falls cn, j Dach gleich cj ist, ist die Sache trivialerweise erfüllt. Das heißt, wir müssen uns nur die beiden Fälle angucken. Der erste ist eins, der zweite minus eins oder der erste minus eins, der zweite eins ist.

Das ist eins im Falle. Jetzt gucken wir uns mal an. cn, j Dach gleich eins oder cj gleich eins, fangen wir so mit an.

Und wenn cn, j Dach gleich minus eins ist, dann ist dieses mn Schlange von xj kleiner als null.

Dann gucke ich mir mal direkt das Ding noch ohne Betrag an.

Okay, was können Sie jetzt darüber aussagen? Naja, also das cj ist gleich eins, das mn Schlange ist kleiner als null. Das heißt, den Betrag können Sie gleich mal auflösen, weil Sie wissen, das ist cj minus dem anderen.

Und dann wissen Sie, cj ist gleich eins, also ich kann das erste durch eins ersetzen. Das zweite ist kleiner als null, das heißt, ich kann das andere einfach weglassen. Eins minus null.

Und das ist der Indikator, dass cn, j Dach ungleich, oder ist in dem Fall gleich dem Indikator, dass cn, j Dach ungleich cj ist.

Und jetzt machen wir es analog andersrum. Wenn wir es analog andersrum machen, dann ist cj gleich minus eins, cn, j Dach gleich plus eins.

Der ist dann größer als null. Okay, wir schreiben es hin. Und im Falle cj gleich minus eins, cn, j Dach gleich plus eins.

Was folgt? Das mn Schlange von xj größer als null ist. Folgt, wir gucken uns wieder an, mn Schlange von xj minus cj.

Cj ist gleich minus eins. mn Schlange von xj ist größer als null. Das heißt, der ist größer als null. Dann mache ich noch minus minus eins plus eins.

Das Gesandte ist größer als null. Das ist also mn Schlange von xj minus cj. Ich kann den Betrag weglassen. Und weil der erste größer als null ist, kann ich es nach oben abschätzen durch null. Und dann minus minus eins. Also null plus eins.

Wieder Indikator. cn, j Dach und gleich cj.

Trivialerweise ist das mn Schlange von xj minus cj betragsmäßig natürlich auch größer als dem Indikator. Wenn die beiden gleich sind, weil der Indikator dann null ist und das andere größer als null. Damit ist es immer größer als null. Dann ist auch das Quadrat von der linken Seite größer als das Quadrat von der rechten Seite.

Quadrat von der rechten Seite brauchen Sie gar nicht.

Also wir sehen insgesamt dieses mn Schlange von xj, cj zum Quadrat, mal pj. Wer größer gleich als dem Indikator zum Quadrat, mal pj.

Indikator zum Quadrat ist, weil der Indikator nur null oder einzeln nimmt, einfach der Indikator.

Okay, damit kann ich jetzt den ganzen L2-Fehler abschätzen.

Beziehungsweise ich will gleich den ganzen erwarteten L2-Fehler abschätzen.

Ich spal das Integral auf in die Summe über die Einzelintegrale, über die einzelnen aj. Die einzelnen Summanden sind da nicht negativ. Ich wende den Satz von der monotonen Konvergenz in der Reihenform an und kann den erwartungswerten die Summe vertauschen.

Kommen wir also auf dieses Integral über ajmn von x minus m.

Das muss wieder ein c sein. m oben c von x. Das m oben c von x, px dx, war größer gleich als das Integral über mn Schlange.

Dieses Integral über mn Schlange war der hier. Den haben wir nach unten abgeschätzt durch den Indikator, mal pj. Davon nehme ich jetzt noch einen. Ja, und da habe ich mich auch verschrieben. Das wäre jetzt hier cj.

Der Erwartungswert von dem Indikator, dieses cnj-Dach, hängt ja von meinem mn ab.

Hängt damit von meinem ganzen Daten ab. Ist also eine Zufallsvariable. Der Erwartungswert von dem Indikator ist dann gerade die Wahrscheinlichkeit, dass das m gleich cj ist. Dann kommen wir hier auf insgesamt ein größer gleich. c oben j gleich eins bis unendlich.

Der Erwartungswert von dem Indikator gibt eine Wahrscheinlichkeit.

Okay, Fragen soweit?

Also ich habe dieses ganze Problem der Regressionsschätzung oder diesen L2-Feder bei dem Problem der Regressionsschätzung jetzt zurückgeführt darauf, diese Koeffizienzen cj bei meiner Klasse von Verteilungen

möglichst gut zu schätzen. Und zwar so zu schätzen, dass diese Summe dieser Wahrscheinlichkeiten, mal pj, möglichst klein ist. Jetzt kommt ein Trick. Um das weiter abzuschätzen, sage ich, ich verwende nur einen Spezialfall, wo ich das wirklich abschätze. Und zwar der Spezialfall wird sein, wenn keines meiner xj...

Also ich möchte diese Wahrscheinlichkeit schätze ich weiter nach unten ab durch die Wahrscheinlichkeit, dass das eintritt und gleichzeitig noch keines meiner xj in einem der Intervalle aj drin liegt. Und wenn keines meiner xj in einer der Intervalle aj drin liegt, dann gucken Sie mal die Definition der zugrunden liegenden Verteilung an.

Das war da oben. Unsere y war das mc von x. Das mc hängt ja noch von den cj ab. Aber wenn keines dieser xj, die ich habe... Also die xj haben ja per se mit den cj nicht zu tun. Die Information in den cj liegt eigentlich in den y.

Y ist in den yi enthalten. Wenn keines der xi in dem aj drin liegt, dann haben aber die ganzen yis auch nichts mit dem cj zu tun. Das heißt, dann kann ich das eigentlich nicht wirklich gut vorhersagen. Dann muss ich das quasi raten. Und das wird der Trick sein. Das heißt, wir schätzen das weiter nach unten ab. Summe j gleich 1 bis n.

Wahrscheinlich gleich das c in j Dachung gleich cj ist mit der Zusatzbedingung, dass μn empirisches Maß von aj gleich 0 ist, mal pj.

Das Ganze nenne ich dann rn von c. Wobei eben μn von aj ist einfach die empirische Verteilung von x1 bis xn.

Das ist die Anzahl der Indizes i, wo xi in aj ist, geteilt durch n.

Okay, ich habe jetzt in Abhängigkeit von diesem Parameter c, habe ich jetzt eine untere Schranke für meinen L2-Fehler meines Regressionschätzers,

meines beliebigen Regressionschätzers, wenn ich die Verteilung wählen kann. Und natürlich auch noch von der Zeldichte. Das heißt, ich kann mir jetzt überlegen, kann ich diese Parameter c und die Zeldichte so schlau wählen, dass das größer gleich unserer vorgegebenen Schranke am ist?

Und das möchte ich letzten Endes machen. Der Trick ist jetzt, oder die Aussage ist jetzt, für jeden Regressionschätzer finde ich die eigenen cj, sodass das eben bei diesem Regressionschätzer größer gleich dem a1 sein wird.

Zumindest asymptotisch. Darauf läuft es hinaus. Ist natürlich irgendwie ein bisschen schwierig, die explizit zu konstruieren für jeden einzelnen Regressionschätzer. Das machen wir nicht, wir machen stattdessen was anderes. Wir randomisieren jetzt. Also jetzt kommt ein Trick,

wo wir einzelne Parameter zufällig wählen. Wir ersetzen die kleinen cj. Also hier dieses Rn von C ist ja eine Zufallsvariable, die hängt von diesem Parameter c1, c2 usw. ab. Und ich ersetze jetzt hier drin dieses kleinen c1, c2 usw. durch eine Folge von unabhängig identisch auf

minus 1, 1 gleich verteilten Zufallsvariablen, groß c1, c2 usw. Und betrachte dann ein Rn von groß C. Und guck mir diesen Erwartungswert an. Beim Erwartungswert werden wir nachher sehen, bleibt uns letzten Endes gar nichts anderes übrig,

als an der Stelle nur wild zu raten. Und wenn wir wild raten, dann liegen wir mit Wahrscheinlichkeiten halb richtig. Das heißt, ich werde das da ersetzen können durch einen zusätzlichen Faktor halb. Ich habe dann hier noch µn von aj gleich 0. Die Wahrscheinlichkeit davon ist,

dann ist keines der x in dem Intervall a drin, ist 1 minus pj hoch n. Dann kommen Sie hier auf eine untere Schranke, j gleich 1 bis unendlich muss hier stehen, nicht n, sorry. Hier steht j gleich 1 bis unendlich. J gleich 1 bis unendlich, 1 minus pj hoch n mal pj. Und die konnten wir beliebig langsam gegen Null gehen lassen.

Und wir sind fertig. Ja, ich würde vorschlagen, ich wische erst, machen wir 5 Minuten Pause und danach fange ich mit dem nächsten Schritt an.

Okay, würde ich ganz gern weitermachen. Okay, kommen wir zum vierten Schritt.

Vierter Schritt. Wir schätzen den erwarteten L2-Fehler bzw. dessen unteren Schranke, von klein c, nach unten ab, indem wir dieses c zufällig aus minus 1, 1 hoch n wählen und über das Resultat mitteln.

War Schritt 3 gar nicht da? Die Frage war, was war Schritt 3?

Ja, hier geht es auch 1, 2, 4. Das muss ich nicht weiter stören, oder? Ich finde es irgendwie störend. Wie zählen Sie denn?

Solange ich mich nicht auf Schritt 3 berufe. Nee, eigentlich nicht. Aber so rein didaktisch. Gut, Sie wachen wenigstens auf. Das ist schon ein gewisser Punkt. Aber wir machen mal einen dritten Schritt draus. Sie haben mich schon überzeugt. Meistens zähle ich auch 1, 2, 3.

Also wir schätzen den erwarteten L2-Fehler. Erwartungswert von Integral mn von x minus mc von x zum Quadrat. Beziehungsweise dessen untere Schranke, das war das Rn von C von Grad eben.

Also an der Stelle erkennt man dann irgendwie, dass es ein Fehler war, alles wegzuwischen. Aber okay, ich musste was hinschreiben. Nach unten ab, indem wir C zufällig

aus minus 1, 1 hoch n wählen

und anschließend über das Resultat mitteln.

Dazu seien C1, C2 unabhängig identisch verteilte Zufallsvariabeln mit Wahrscheinlichkeit von C1 gleich 1 ist gleich ein halb, gleiche Wahrscheinlichkeit von C1 gleich minus 1,

die auch unabhängig von x1 bis xn sind. Seien C1, C2 und so weiter unabhängig identisch verteilt mit

und auch unabhängig von x1 bis xn.

Also wenn Sie jetzt Ihre Klasse von Verteilung konstruieren, dann haben Sie eben zunächst einmal so eine unendliche Folge. C1, C2 und so weiter unabhängig identisch verteilte Zufallsvariabeln.

Damit für eine Realisierung davon basteln Sie diese Regressionsfunktion mc, die auf dem Intervall aj gleich dem Wert von cj ist. Dann wählen Sie anschließend unabhängig davon auf 0, 1 gleich verteilte Zufallsvariabeln groß x1 bis groß xn und setzen yi gleich mc von xi

und geben das Ihrem Regressionsschätzer. Jetzt sei C diese unendliche Folge in Lektor geschrieben. C1, C2 und so weiter.

Dann gilt. Ich möchte jetzt zeigen, es existiert ein klein C, sodass dieses Rn von klein C groß ist. Ich gucke mir stattdessen den Erwartungswert von Rn von groß C an.

Im Prinzip, wenn ich diese Abschätzung für festes N machen wollte, würde das so ausreichen, weil wenn ich jetzt zeige, der Erwartungswert für festes N

ist größer gleich oben im Wert, dann würde es natürlich auch einen seiner Werte geben, die dieses C annimmt. Gibt es auch ein kleines C, das größer gleich diesem Wert ist. Das ist ein Trick in der Herleistung einer unteren Schranke. Ich habe günstig Zufall eingeführt. Ich möchte zeigen, es existiert ein klein C,

sodass der Wert groß ist. Ich zeige, der Mittelwert ist groß. Dann habe ich mindestens ein C, was mindestens so groß ist wie der Mittelwert. Wir machen es nachher ein bisschen komplizierter, weil wir ja noch so ein limes N gegen endlich drin haben. Da kommt noch so ein Fatou mit rein. Aber im Prinzip ist das die Idee. Okay, was ist das?

Naja, was war nochmal dieses Rn von klein C? Dieses Rn von klein C, das war die unendliche Reihe von der Wahrscheinlichkeit, dass CnJ Dach ungleich Cj ist und Myen von aj gleich 0 mal pj. Jetzt setze ich da die klein C als Groß C ein,

bilde den Erwartungswert. Da diese Groß C unabhängig von den x1 bis xn, von diesem zweiten Zufall, der eingeht, sind, kann ich den Erwartungswert dann auch gleich in die Wahrscheinlichkeit mit reinziehen

und eine totale Wahrscheinlichkeit berechnen. Das heißt, ich komme auf sowas. Reihe J gleich 1 bis einendlich, Wahrscheinlichkeit, dass CnJ Dach ungleich Groß Cj ist, mal Myen von aj gleich 0

mal pj. Und das müssen wir jetzt weiter ausrechnen.

Okay, Fragen soweit?

Okay, die Frage ist, wo ist der Erwartungswert hin von außen? Also ursprünglich hatte ich ja ein Rn von klein C definiert. Das war der gleiche Ausdruck,

nur hier irgendwann standen klein Cs. Wenn Sie jetzt in dieses klein C ein Groß C einsetzen, was müssen Sie dann machen? Naja, dann müssen Sie eigentlich nach wie vor die Wahrscheinlichkeit bilden, aber Sie dürfen nicht über Cm mitteln. Das heißt, Sie bilden eigentlich eine bedingte Wahrscheinlichkeit, gegeben die ganzen Werte von Cj.

Und dann nehme ich von dieser bedingten Wahrscheinlichkeit den Erwartungswert. Ich habe hier draußen Erwartungswert, Reihe, bedingte Wahrscheinlichkeiten. Ich vertausche die monotone Konsolgenz, reinformen die Reihe mit dem Erwartungswert, dann komme ich auf den Erwartungswert von den bedingten Wahrscheinlichkeiten, was die totale Wahrscheinlichkeit ist.

Das wäre der Trick. Oder so würde ich es am ehesten noch erklären.

Also ursprünglich, wenn ich in dieses Rn von klein C durch Groß C ersetze, müsste ich bedingte Wahrscheinlichkeiten hinschreiben, weil ich ja eben nicht mehr über das Cj mitteln. Okay, jetzt sind wir so weit. Und da ist jetzt der Trick. Das geht jetzt eben, weil wenn wir in der Situation sind, dass µn von aj gleich 0 ist,

dann ist keines der x1 bis xn in der Menge aj drin. Dann haben aber auch die y1 bis yn nichts mit dem Cj zu tun, weil die hängen ja nur von denjenigen Cks ab, wo einer der x-Werte in dem Intervall ak drin liegen.

Damit spielt das hier eigentlich gar keine Rolle, oder das kann ich quasi als konstant betrachten. Und ich muss hier quasi nur raten. Und bekomme auf den Mittelwert. Das möchten wir jetzt ausformulieren. Wir machen das so, indem wir innen erstmal auf x1 bis xn bedingen und davon, also von der totalen Wahrscheinlichkeit, bilde ich jetzt die bedingte Wahrscheinlichkeit gegeben,

x1 bis xn, davon den Erwartungswert.

Dann bin ich hier. Und jetzt gucke ich mir nur diese Wahrscheinlichkeit an.

Und da würde ich ganz gerne argumentieren, das ist das Gleiche. Ich schreibe es Ihnen mal hin. Und dann frage ich Sie, worum es gilt. Wie der Indikator?

Haben Sie vielleicht eine Idee, wie man sowas zeigen könnte? Der Erwartungswert von dieser bedingten Wahrscheinlichkeit ist das Gleiche wie der Erwartungswert vom Indikator, das dieses µn von aj gleich Null ist, mal der bedingten Wahrscheinlichkeit,

dass c ist cn, j ist dach und gleich c ist j gegeben, x1 bis xn. Vorschlag?

Die bedingte Wahrscheinlichkeit ist die bedingte Erwartung von der Indikatorfunktion zu dem Ereignis, richtig?

Und das µn von aj gleich Null ist messbar bezüglich der von x1 bis xn erzeugten Sigma-Algebra. Das heißt, ich kann das umschreiben als Erwartungswert als bedingten Erwartungswert von der Indikatorfunktion. Die Indikatorfunktion von den beiden Ereignissen gleichzeitig ist das Produkt der beiden einzelnen Indikatorfunktionen. Die zweite Indikatorfunktion, das µn von aj gleich Null ist,

ist eine messbare Funktion von x1 bis xn, hängt nur von x1 bis xn ab. Kann ich aus dem bedingten Erwartungswert umschreiben, ausziehen? Dann habe ich hier einen Erwartungswert von der Indikatorfunktion. Das ist wieder eine bedingte Wahrscheinlichkeit. Fertig. Okay, jetzt kommt der nächste Trick.

Ich behaupte, diese Wahrscheinlichkeit ist gleich ein Halb. Wie sehen wir das?

Beziehungsweise eigentlich behaupte ich was anderes. Ich behaupte, wenn dieser Indikator hier gleich eins ist, das heißt, wenn µn von aj gleich Null ist, dann ist diese Wahrscheinlichkeit gleich ein Halb.

Ja, wir machen noch mal ein bisschen mehr. Ich bedinge auch mal nicht nur auf die xi, ich bedinge auch noch auf die yi. Das heißt, es ist der bedingte Erwartungswert gegeben x1 bis xn von der bedingten Wahrscheinlichkeit die xi und die yi. Das mache ich als Erstes. Wenn ich auf die xi und die yi bedinge,

ist dieses Cnj-Dach eine Konstante. Das Cnj-Dach war eine Funktion von x1 bis xn. x1, y1 bis xn, yn. Das Cnj-Dach hing von unserem Schätzer mn ab, beziehungsweise dessen Projektion auf die Menge der stückweisen konstanten Funktionen. Das heißt, das hängt letzten Endes von den Daten ab.

Wenn ich auf die ganzen Daten bedinge, ist das eine Konstante. Und dann ist der Witz, wenn dieses My n von aj gleich 0 ist, dann hat eben diese Konstante da nichts mehr zu tun mit dem Wert von Cj. Und die Wahrscheinlichkeit, dass Cj gleich plus eins ist, ist ein halb. Die Wahrscheinlichkeit, dass Cj gleich minus eins ist, ist ein halb. Das heißt, die Wahrscheinlichkeit, dass Cj ungleich irgendeinem festen Wert ist,

ist ein halb. Also wir sagen, dass da erst das Gleiche wie das Erwartungswert von Wahrscheinlichkeit von Cnj-Dach

gleich ein halb. Und die Begründung schreibe ich hier noch dazu.

Denn im Falle my n von aj gleich 0.

gilt x1 ist nicht in den aj, x2 ist nicht in den aj usw. bis xn ist nicht in den aj und damit hat dieses die ganze Stichprobe x1, y1 bis xn, yn nach Konstruktion nichts mit dem c hat zu tun, mit dem Wert von c hat zu tun.

Und damit hat x1, y1

bis xn, yn nach Konstruktion nichts mit dem Wert von c hat zu tun. Ja, was haben wir dann insgesamt gezeigt?

Wir haben gezeigt, diese Erwartungswert von einem Rn von c ist gleich.

Ja, wenn sie durchgehen, ich kann an der Stelle diese Wahrscheinlichkeit durch einen Halb ersetzen. Das heißt, die bleibt stehen mit einem Halb, kann das einen Halb dann rausziehen. Der Erwartungswert von den 5 Myen von aj gleich 0 ergibt wieder die Wahrscheinlichkeit. Das heißt, ich komme auf Summe

wird gleich 1 bis ein Endlich. Wir hatten das einen Halb. Mal die Wahrscheinlichkeit von den Myen von aj gleich 0 mal pj.

Ja, das wäre ein Halbmal dieses Ereignis, dass Myen von aj gleich 0 ist. Heißt, gerade x1 ist nicht in aj, bis xn ist nicht in aj.

Die Reihe darf ich nicht vergessen. Die x i sind unabhängig. Jetzt gibt es ein Produkt der Einzelwahrscheinlichkeit. Jede Einzelwahrscheinlichkeit ist 1 minus pj. Das heißt, ich komme auf ein 1 minus pj hoch n her, mal pj.

Und damit habe ich jetzt soweit gezeigt, dass

also der Erwartungswert von einem Ereign von c ist gleich ein Halb mal Summe j gleich 1 bis ein Endlich 1 minus pj hoch n mal pj. Das heißt, ich finde einen Wert klein c, sodass der Wert größer gleich dem Mittelwert ist. Das heißt, wenn ich dann für dieses Klein c

meine erwarteten L2-Fehler berechne, dann ist der erwartete L2-Fehler eben größer gleich als dem Ereign von klein c, ist dann und dieses Ereign von klein c ist dann größer gleich, dass die Summe j gleich 1 bis ein Endlich ein Halb mal 1 minus pj hoch n mal pj. Dieses Summe j gleich 1 bis ein Endlich 1 minus pj hoch n mal pj konvergierte beliebig langsam gegen 0 für n gegen Endlich.

Ich habe noch einen Faktor ein Halb davor, aber dann konvergiert auch natürlich ein Halb mal das ganze Ding beliebig langsam gegen 0. Und wir wären eigentlich fertig. Modulo einer Sache, dass ich meinen Wert von c sich gerade mit jedem einzelnen n noch ändert.

Also momentan sage ich, ich finde einen, ich habe den Erwartungswert von c für ein festes n abgeschätzt, der hat eine Mindestgröße, aber ich finde dann für jedes einzelne n, finde ich einen kleinen c, sodass das größer gleich diesem Ausdruck ist, aber

für jedes mit jedem n ändert sich dieses c offenbar mit. Und wir wollten eigentlich eine feste Verteilung haben. Wir wollten nicht eine Verteilung haben, also wir wollten nicht für jeden Stichprobenumfang eine andere Verteilung haben. Da gibt es noch einen kleinen Trick. Wir wenden jetzt noch einmal Lemma von Fatou an.

Also das kommt jetzt noch. Oder haben Sie Fragen soweit? Also ein entscheidender Trick, indem wir weiß, war diese ein Halb, dass wenn das Ding eben hier gleich 0 ist, dass wir dann eigentlich nur noch raten können.

Und an der Stelle sind wir ja den ursprünglichen Regressionsschätzer losgeworden, von dem wir gar nicht wissen. Also wir machen eine Aussage über jeden beliebigen Regressionsschätzer, von dem wir gar nichts wissen.

Okay, Fragen? Gut, dann kommt noch ein kleiner Trick, legen. Gucken wir uns nochmal Rn von Groß c an. Rn von Groß c hatten wir da vorne. Die Wahrscheinlichkeit

war, diese Wahrscheinlichkeit schätzt sich jetzt nach oben ab, indem ich einfach in den Einzelwahrscheinlichkeiten einen Teil der Bedingungen weglasse. Das ist also kleinergleich.

Ich lasse einfach das erste weg. Also kleinergleich Summe j gleich 1 bis und endlich Wahrscheinlichkeit von Mühen von aj gleich 0 mal pj.

Das ist gleich 1 minus pj hoch n mal pj. Wenn ich dieses Rn von C durch seinen Erwartungswert heile, dann ist das kleinergleich

mehr als die eine obere Schranke. Und den Erwartungswert hatten wir genau ausgerechnet. Der war einfach ein Halb mal so groß.

Das gibt ein Zwei.

Damit ist Rn von C durch E von Rn von C nach oben durch eine Konstante beschränkt. Die Konstante ist integrierbar bezüglich dem Wahrscheinlichkeitsmaß. Das heißt, ich habe eine integrierbare Majorante. Und jetzt wende ich das Lemma von Fatou in der Form an, dass ich das Integral über den Liemensuperior

von dem Ding vergleiche oder den Erwartungswert über das Liemensuperior von dem Ding vergleiche mit dem Liemensuperior der Erwartungswerte. Und das können Sie, wenn Sie eine integrierbare Majorante haben, was wir haben,

mit Lemma von Fatou folgt.

Ich gucke mir den Erwartungswert von Liemensuperior von n gegen endlich an, von Rn von C durch Erwartungswert von Rn von C.

das ist eigentlich die unübliche Version vom Lemma von Fatou. Lemma von Fatou verwendet man meistens in der Form

Liemensinferior von Erwartungswerten ist kleinergleich Erwartungswert von Liemensinferior. Und da brauchen Sie eben, dass die Funktionen nach unten beschränkt sind durch eine integrierbare Majorante. Umgekehrt, die zweite Form ist Erwartungswert von Liemensuperior, ist größergleich Liemensuperior der Erwartungswerte, wenn Sie eine Majorante nach oben haben.

Ja, und jetzt sehen Sie, Erwartungswert von Rn von C durch, geteilt durch den Erwartungswert von Rn von C, ist natürlich 1. Das heißt, hier steht 1. Das heißt, wir sehen der Erwartungswert vom Liemensuperior von Rn von C durch den Erwartungswert von Rn von C ist größergleich 1.

Und damit ist der Wert im Mittel größergleich 1. Also finde ich auch ein Kleinzee, wo dieser Wert größergleich 1 ist. Daraus folgt das vierte C aus minus 1, 1 hoch n, sodass eben der Liemensuperior n gegen und endlich Rn von Kleinzee

durch diesen Erwartungswert, den Erwartungswert kann ich direkt hinschreiben, den haben wir eigentlich ausgerechnet, oder ich schreibe es nochmal so rum hin. C, das ist größergleich 1.

Also wenn wir einsetzen, was der Erwartungswert von Rn von C war, ist der Liemensuperior

durch, ja, schreiben wir das da hin, und wir hatten noch einen Halt dran, größergleich 1.

Also wir haben durch eine Randomisierung eigentlich einen Existenzbeweis gemacht. Lustige Methode, stammt von ungarischen Mathematikern, der Trick.

Ja, jetzt ist das nicht unsere Behauptung, unsere Behauptung war ja, dass der erwartete L2-Fehler, geteilt durch An, da von der Liemensuperior größergleich 1 ist. Aber der erwartete L2-Fehler war ja größergleich dem Rn von C.

Das heißt, ich muss jetzt nur noch argumentieren, warum kann ich dieses An ersetzen durch die Folge hier. Und das sehen Sie vermutlich. Das war das Lemma 2.1, wenn ich den Faktor 1.5 weggelassen habe.

Den Faktor 1.5 kann ich in die Folge reinstecken und der zweite Punkt war noch, die Folge musste kleinergleich ein Viertel sein. Was mache ich damit?

Was mache ich, wenn meine Folge An ursprünglich nicht kleinergleich ein Viertel ist? Also Lemma 2.1 war, Sie hatten eine Folge An, wo ein Viertel war größergleich A1, größergleich A2 und so weiter, größergleich An ging monoton gegen Null.

Dann war, dann fanden Sie eine, finden Sie eine zähltichte Pj, sodass Summe j gleich 1 bis und endlich 1 minus Pj hoch n mal Pj größergleich An ist für n genügend groß. Eigentlich wollen wir nun eine asymptotische Aussage und so von ist der Anfang egal.

Das heißt, ich kann den Anfang von meiner Folge beliebig abändern. Okay, also ich kann schreiben, mit Lemma 2.1 folgt die Behauptung, beziehungsweise vielleicht aufführlich mit Lemma 2.1 angewendet auf An halbe.

Nach eventuellem Abändern des Beginns der Folge.

Okay, wir sind fertig.

Also ein lustiger Trick war hier Existenzparameter durch Randomisierung. Wir zeigen, der Wert hat eine gewisse, es existiert ein Parameter, wo der Wert eine gewisse Mindestgröße hat,

in dem wir eben zeigen, wenn wir den Parameter zufällig wählen, dann hat der Wert im Mittel die Mindestgröße. Und hier war nochmal der Fatou mit drin versteckt. Ach so, bei Fatou, wissen Sie, warum Sie da diese integrierbare Majorante brauchen?

Was ginge schief, wenn Sie die integrierbare Majorante nicht hätten? Also die Aussage wäre zum Beispiel, wenn wir einfach im Lebesque integral bleiben, integral über Limes superiore von Fn ist

größer gleich dem Limes superiore der Integrale über Fn, wenn die Fn's eben durch eine integrierbare Funktion nach oben beschränkt sind. Wenn Sie jetzt die Voraussetzung weglassen, warum gilt das da nicht mehr?

Ja, ich muss gestehen, ich kam auch nicht mehr drauf, ich musste nachschlagen. Der Standardtrick ist, Sie nehmen also diese Fn's zum Beispiel gleich eins durch n,

dann wären die Integrale alle gleich unendlich, aber der Limes superiore wäre gleich null punktweise. Integral über den Limes superiore wäre gleich null, aber Limes superiore der Integrale wäre unendlich. Okay, Fragen noch?

Dann beim nächsten Mal geht es dann um die Konvergenzgeschwindigkeit des Kanzschätzers, werde ich mindestens eine Vorlesungsstunde drüber machen. Im Prinzip, den Satz hatten wir schon mal in den Übungen zur mathematischen Statistik, ich mache ihn aber nochmal ein bisschen ausführlicher. Und anschließend, also wir werden jetzt als nächstes Konvergenzgeschwindigkeitsaussagen herleiten, wir haben

hier gesehen, ohne Annahmen an die zugrunde liegende Verteilung schaffen wir es nicht. Also fangen wir eben an mit Annahmen, die Annahmen werden primär eine Glattheit der Regressionsfunktion sein, also sowas wie Stetigkeit, Differenzierbarkeit und so weiter.

Und noch ein bisschen Beschränktheitsannahmen an x und y und so, also so eine Art Beschränktheit der Verteilung, aber das ist nicht weiter wichtig. Also es sind die Glattheitsannahmen an die Regressionsfunktionen und dann werden wir uns überlegen, wer für einen Kanzschätzer eine Rate herleiten, warum diese Rate optimal ist, wird auf Minimox Konvergenzraten führen. Okay, damit werde ich fertig für heute.