Evaluierung von Hausumringen: ALKIS, OSM, Microsoft und unsere KI im Vergleich
This is a modal window.
Das Video konnte nicht geladen werden, da entweder ein Server- oder Netzwerkfehler auftrat oder das Format nicht unterstützt wird.
Formale Metadaten
| Titel |
| |
| Serientitel | ||
| Anzahl der Teile | 119 | |
| Autor | ||
| Mitwirkende | ||
| Lizenz | CC-Namensnennung 4.0 International: Sie dürfen das Werk bzw. den Inhalt zu jedem legalen Zweck nutzen, verändern und in unveränderter oder veränderter Form vervielfältigen, verbreiten und öffentlich zugänglich machen, sofern Sie den Namen des Autors/Rechteinhabers in der von ihm festgelegten Weise nennen. | |
| Identifikatoren | 10.5446/67664 (DOI) | |
| Herausgeber | ||
| Erscheinungsjahr | ||
| Sprache |
Inhaltliche Metadaten
| Fachgebiet | ||
| Genre | ||
| Abstract |
| |
| Schlagwörter |
14
45
50
55
67
69
72
75
78
87
95
00:00
MicrosoftUmsetzung <Informatik>Patch <Software>ValidierungLeistungsbewertungZahlenbereichStammdatenPaarvergleichInformationKreisflächeOffice-PaketEndliche ModelltheorieKatastrophentheorieResultantePunktElementargeometrieBefehl <Informatik>SchnittmengeGüte der AnpassungCASE <Informatik>FlächeninhaltTermStochastische AbhängigkeitGenerator <Informatik>DifferenteMetrisches SystemAuflösung <Mathematik>Ein-AusgabeTesselationRichtungWellenpaketCoxeter-GruppeMultiplikationsoperatorMereologieDokumentenserverRechenschieberGebäude <Mathematik>Green-FunktionFehlermeldungGebiet <Mathematik>MAPSound <Multimedia>MicrosoftDatensatzGroße VereinheitlichungComputeranimation
06:08
ÄhnlichkeitsmaßDurchschnitt <Mengenlehre>Overlay-NetzSchwellwertverfahrenRuhmasseAbstandPositionAusreißer <Statistik>EckeDurchschnitt <Mengenlehre>DatensatzÄhnlichkeitsmaßMetrisches SystemRichtungZahlenbereichMicrosoftÄhnlichkeitsgeometrieMedianwertBalkenObjekt <Kategorie>Gauß-FunktionInformation RetrievalKreisflächeTesselationMultiplikationsoperatorBitBildschirmmaskeSchwellwertverfahrenFlächeninhaltPlotterQuaderKnotenmengeHypermediaResultanteInstantiierungSelbstrepräsentationSchnittmengeSchnitt <Mathematik>EinflussgrößeDifferenteOrtsoperatorGebäude <Mathematik>MittelwertElementargeometrieLokales MinimumCASE <Informatik>Computeranimation
12:10
Gebäude <Mathematik>DifferenteRichtungKoordinatenTesselationMicrosoftKante
12:46
Gebäude <Mathematik>DifferenteVirtuelle MaschineResultanteMultiplikationsoperator
13:12
StandardabweichungGüte der AnpassungGebäude <Mathematik>Statistische HypotheseKoordinatenEndliche ModelltheorieMetrisches SystemRelativitätstheorieDifferenteDialektBitKartesische KoordinatenPlateau-ProblemResultanteSchnittmengeDatenbankEinsPartielle IntegrationSoftware EngineeringSchnitt <Mathematik>MittelwertMaßstabDurchschnitt <Mengenlehre>XMLComputeranimation
16:20
DatensatzGebiet <Mathematik>Gebäude <Mathematik>DifferenteFlächeninhaltSchnitt <Mathematik>Negative Zahl
17:26
AbschattungSnake <Bildverarbeitung>Endliche ModelltheorieBitMinimumPolygonGebäude <Mathematik>ResultantePaarvergleichTesselationSchnittmengeGebiet <Mathematik>BlitzBasic
18:56
GewichtungVerfügbarkeitVollständigkeitErweiterungDivisionGebäude <Mathematik>PunktEndliche ModelltheorieCracker <Computerkriminalität>InformationTopologieMultiplikationsoperatorHoaxChatten <Kommunikation>DifferenteQR-CodeStrömungsrichtungResultanteEreignishorizontGüte der AnpassungMAPStandardabweichungBitFlächeninhaltWellenpaketFlächentheorieAbstandSchnitt <Mathematik>PolygonKreisbewegungSchnittmengeVerschiebungsoperatorFehlermeldungNegative ZahlAttributierte GrammatikDatensatzMicrosoftGebiet <Mathematik>VollständigkeitSchätzfunktionGroße AbweichungUnterteilungGesetz <Physik>VerfügbarkeitÄhnlichkeitsmaßAlgebraisch abgeschlossener KörperAbschließungHöhePaarvergleichComputeranimation
24:54
DatensatzElektronischer ProgrammführerTesselationDifferenteComputeranimation
25:45
Gebiet <Mathematik>SchnittmengeMomentenproblemDialektMetrisches SystemGebäude <Mathematik>Güte der AnpassungGoogle Street ViewGoogolTesselationFunktion <Mathematik>GoogleViewerDatensatzPolygon
27:48
ÄhnlichkeitsmaßDurchschnitt <Mengenlehre>RichtungZahlenbereichFlächeninhaltMittelwertDistributionenraumMedianwertOrdnung <Mathematik>UnrundheitCracker <Computerkriminalität>PolygonGrenzschichtablösungTesselationTaskMultiplikationsoperatorLeistungsbewertungShape <Informatik>Gebäude <Mathematik>TypentheorieMatchingBerechnungDurchschnitt <Mengenlehre>UnterteilungVerschneidungComputeranimation
Transkript: Deutsch(automatisch erzeugt)
00:07
Wir sind zurück. Ich freue mich auf euren Beitrag zur Evaluierung von Hausnummerierungen. Ja, vielen Dank. Genau, es geht jetzt weiter mit dem nächsten KI-Thema. Wir haben ja eben gerade schon unsere KI-Ergebnisse gesehen und wir haben uns gedacht,
00:23
wir betrachten mal noch ein paar weitere Datensätze, die es so gibt. Da haben wir uns Alkes, OpenStreetMap und einen Datensatz von Microsoft rausgesucht und wollten mal die Hausumringe miteinander vergleichen. Wir, das sind Lukas Sanner und ich, Mike Engel vom KI-Team des LGN.
00:42
Und genau, wofür machen wir überhaupt bei uns? Warum beschäftigen wir uns überhaupt mit Evaluierung? Hauptsächlich eigentlich, um die Qualität unserer KI-Modelle bewerten zu können und um das Ganze irgendwie auch vergleichbar zu machen. Gerade jetzt, wir haben ja eben gesehen, diese Generation, die wir haben, wo das Ganze immer besser wird, wo man durch einen visuellen Vergleich
01:03
schon gar keine großen Unterschiede mehr erkennen kann, kann man sich dann wirklich fragen, wird das überhaupt noch besser? Und da haben wir uns eben Methoden überlegt, mit denen wir das eben unabhängig evaluieren können an unabhängigen Referenzdaten. Und das ist eben deutlich wertvoller als so ein rein visueller Vergleich. Und das ist natürlich auch deutlich objektiver.
01:21
Sonst gucke ich mir irgendwelche Gebiete an, wo es gut funktioniert, sage ich mir, meine KI ist top. Und ja, es ist auch so natürlich deutlich transparenter. Wir können durch irgendwelche Metriken ausdrücken, um wie viel Prozent es auch wirklich besser geworden ist in verschiedenen Gebieten. Und wir können sehr schnell Schwachstellen identifizieren, also wo es eben nicht klappt. Und das sind halt die Gebiete, die uns interessieren.
01:42
Umgesetzt haben wir das Ganze durch ein eigenes kleines Python-Package, wo wir so, glaube ich, 34 verschiedene Metriken berechnen und anhand deren wir so einen Datensatz vergleichen können. Wir tracken diese Metriken mit MLflow. Und zum Einsatz kommt das Ganze eigentlich,
02:01
Jonas hatte das eben schon in seiner Darstellung ganz gut gezeigt, so am Ende unserer KI-Entwicklung, also wenn wir das Training eines KI-Modells abgeschlossen haben, um die Genauigkeit eben direkt bewerten zu können. Aber wir können eben jetzt diese Methodik auch anwenden, um einen Vergleich mit anderen Datensätzen herzustellen. Wir können also auch unsere Referenzdaten mit dem gleichen Vorgehen
02:20
an anderen Datensätzen damit vergleichen. Und ja, was benötigen wir dafür erstmal? Das ist erstmal auf jeden Fall gute Referenzdaten. Ja, hier haben wir viel Zeit reingesteckt. Also unsere Referenzdaten in diesem Fall sind jetzt ein Teil von unseren Trainingsdaten. Also sie sind entstanden in dem Zuge, wo wir auch unsere Trainingsdaten erstellen.
02:42
Da kommt morgen auch noch ein Vortrag zu, auf den Jonas eben auch schon verwiesen hat. Da kann man sich das nochmal ein bisschen genauer angucken. Aber genau, also unsere Referenzdaten, die wir jetzt benutzen, das sind 193 zufällige Kacheln aus diesem Datensatz, die eben nicht fürs Training verwendet werden, sondern danach, um das Ganze zu evaluieren. Und den nutzen wir jetzt auch für diesen Vergleich.
03:03
Und die Trainingsdaten und auch die Referenzdaten entstehen grundsätzlich erstmal aus Alkes als Grundlage und werden dann aber noch durch mehrere Schritte manuell validiert und auch angepasst, sodass sie das abbilden, was wir eigentlich haben wollen als diese Daten. Man muss hier aber auch trotzdem noch zusagen, man sieht das hier jetzt nochmal auch in den nächsten Folien.
03:21
Unsere Referenz wird immer ins Orange dargestellt. Kann man sich mal merken. Aber man sieht, das ist auch nicht immer perfekt, diese Referenz. Das muss man auch ganz klar nochmal so erwähnen. Und Fehler können hier nicht ausgeschlossen werden. Dadurch, dass sie eben manuell erstellt werden, ja, je nach Bearbeit, da können die sich da stark unterscheiden. Genau, welche Datensätze wollen wir jetzt miteinander vergleichen?
03:41
Ich hatte es eingangs erwähnt, aber jetzt hier nochmal mit Bildern. Zum einen unsere KI, die haben wir eben schon gesehen. Die stellen wir immer in so einem Cianentoden da, wie man jetzt hier sieht, damit man da in den nächsten Folien dann auch Bescheid weiß. Dann ein Datensatz von Microsoft, der als Open Data verfügbar ist. Kann man sich hier unter dem GitHub Repository angucken
04:02
und auch weitere Informationen dazu findet man auch bei Microsoft. Das ist der Global Machine Learning Building Footprints Datensatz. Genau, den stellen wir hier immer in so einem Magenta Ton da. Dann ein Datensatz, den wahrscheinlich alle kennen, die hier auf der Foskes sind, Open Street Map.
04:20
Da haben wir uns auch die Building Footprints gezogen. Die stellen wir immer in grün da. Als letztes im Bunde haben wir dann unsere Alkes Daten, also das amtliche Liegenschaftskataster Informationssystem, das wir dann auch für diesen Referenzdatensatz gezogen haben. Hier muss man auch ganz klar sagen, die Referenzdaten entstehen eben größtenteils aus diesen Alkes Daten.
04:44
Das heißt, die unterscheiden sich auch nicht überall so extrem. Und das ist nämlich auch, wo wir als erstes, bevor wir uns jetzt in den Vergleich gehen und die Ergebnisse angucken, was man nochmal ganz klar rausstellen muss, das hier ist kein wirklich fairer Vergleich, den wir ziehen. Dadurch, dass die Referenz eben zum größten Teil aus Alkes Geometrien direkt stammt
05:01
und nur an manchen Stellen angepasst wurde, wird Alkes hier ziemlich gut abschneiden. Und das könnte jetzt eine falsche Aussage hier sein, die wir eigentlich so nicht treffen wollen. Das muss man ganz klar so sich merken. Und die Referenzdaten sind eben auch nicht perfekt. Das heißt, wenn wir jetzt irgendwo ein schlechtes Ergebnis haben von einem der Datensätze, heißt das nicht unbedingt, dass es da wirklich Fehler gibt in den Datensätzen,
05:22
sondern es kann auch sein, dass die Referenzdaten an der Stelle einfach nicht korrekt sind. Zusätzlich wurde unser KI-Modell natürlich mit ähnlichen Eingangsdaten trainiert, wie jetzt auch die Referenzdaten sind, mit denen wir das Ganze an die Genauigkeit bewerten, haben eben die gleiche Auflösung in den Ortofotos und wir sind in dem gleichen Gebiet in Niedersachsen,
05:42
wo das alles vielleicht ziemlich ähnlich aussehen kann. Und wir können eben auch bei USM und bei dem Microsoft Hausumring gegebenenfalls eine andere Aktualität haben als die Referenzdaten. Aber trotzdem, die Ergebnisse, die wir gleich sehen werden, also die Zahlen und die Analysen, die wir machen, passen zu dem visuellen Eindruck, den man auch so bekommt.
06:04
Und deswegen gibt das Ganze, glaube ich, gute Tendenzen bei die Genauigkeit. Wir haben uns drei Metriken ausgesucht, aus diesem großen Pool, den wir haben, die besonders aussagekräftig sind, wie wir finden. Im Anhang findet man auch, wenn ihr euch die Folien irgendwie runterladet,
06:21
auch nochmal alle Werte, damit wir jetzt hier nicht irgendwie Cherry-Picking gemacht haben und die Besten irgendwie nur rausgesucht haben. Wir haben uns zum einen für zwei Metriken aus der Instant-Sigmentation-Bereich entschieden und ein geometrisches Distanzmaß. Einmal die Overall Intersection over Union. Das ist hier einmal dargestellt, was das ist.
06:43
Also das ist im Prinzip Maß für wie stark sich zwei Objekte überschneiden. Man berechnet hier für einmal die Überlappungsfläche, geteilt durch die Union-Fläche der beiden Objekte, also zum Beispiel KI-Ergebnis und der Referenz. Man sieht hier dann auch mal Beispiele für eine hohe IOU und eine niedrige IOU.
07:02
Also eine hohe IOU ist Richtung 1, und das Schlechteste ist sozusagen dann 0. Als zweites Maß haben wir uns die Average Position rausgesucht. Das gibt im Prinzip an, wie viele der detektierten Gebäude sind eigentlich korrekt. Das macht man auch wieder über verschiedene Schwellwerte.
07:22
Hier jetzt auch ein IOU-Schwellwert von 0,5. Das heißt, jedes Objekt wird danach bewertet, ob er mindestens diese IOU von 0,5 mit dem Referenzobjekt bildet. Ist das der Fall, wird es als korrekt gewertet, ist es nicht der Fall, wird es jetzt hier mit einem roten X als Fehler gewertet.
07:41
Und man berechnet dies für verschiedene Schwellwerte. Hier jetzt nochmal für 0,7, da sind schon ein paar mehr rote Xs. 0,9, dann werden in diesem Beispiel jetzt alle als falsch gewertet. Bei dieser Mean Average Precision wird halt eben das für ganz viele verschiedene Schwellwerte berechnet und dann gemittelt. Da kriegt man dann auch so ein Maß darüber.
08:01
Genau, und als letztes, das ist ein Distanzmaß, wo wir für jeden Eckpunkt, der jetzt in dem Fall hier unserer KI den Abstand zum niedrigsten oder den minimalen Abstand zum Referenzobjekt gebildet haben, zur Ecke oder zur Kante, diese ganzen dann aufsummiert haben und durch die Anzahl der Eckpunkte geteilt haben,
08:21
um da eben nochmal ein Maß zu finden, wie dicht die Eckpunkte an der Referenz liegen. Für dieses Beispiel jetzt kann man wahrscheinlich schwer lesen, es ist ungefähr unter 60 cm. Genau, und jetzt, nachdem wir jetzt so das Theoretische haben, zeigt Lukas jetzt mal endlich ein paar schöne Ergebnisse.
08:41
Genau, können wir mich hören? Ja, okay. Kommen wir zu der tatsächlichen Evaluierung, nachdem wir jetzt die schönen Metriken vorgestellt bekommen haben. Ich werde zuerst jetzt ein paar Boxplots zeigen. Ich weiß nicht, wie sehr ich damit auseinandergesetzt habe, wie man die zu interpretieren hat.
09:01
In dieser Box befinden sich jeweils 50 Prozent der Datenpunkte, also von diesen 193 Kacheln sind quasi 50 Prozent jeweils in einer Box und diese Antennen bilden dann quasi so ein weiteres, hinter den 1,5 mal den Interquartilabstand als formale Definition
09:23
und diese kleinen Kreise sind dann quasi statistische Ausreiß. Also man kann sich das ein bisschen vorstellen wie so eine Gauss-Kurve in anderer Form der Darstellung. Genau, was man hier schon sieht bei der Intersection over Union, ist, dass an sich alle Datensätze schon ziemlich gut abschneiden,
09:43
im Vergleich zu unserer Ground Truth als Referenz natürlich. Was hier doch auch auffällt, ist, dass in dieser Referenz der Microsoft und OSM Datensatz ein wenig schlechter abschneidet bzw. vor allem wesentlich breiter streut. Also es gibt sowohl sehr übereinstimmende Ergebnisse,
10:04
aber auch ein paar weniger übereinstimmende Ergebnisse. Und das zieht sich so ein bisschen weiter durch auch für den Average Precision Wert. Hier haben wir auch an sich überall ganz gute Werte, aber insbesondere bei OSM eben von sehr, sehr guten bis auf quasi weniger übereinstimmten Ausreißern.
10:26
Und auch Ähnliches wieder für die Distanz von den Vertices zu den Edges. Wobei hier auffällt, dass OSM im Median diesmal ein kleines bisschen besser ist als der Microsoft Datensatz.
10:43
Und damit wir jetzt nicht die nächsten 10 Minuten nur irgendwelche Zahlen vorlesen oder weitere verwirrende Matplotlib Balken angucken, wollen wir es ein bisschen exemplarischer betrachten
11:01
und picken uns ein paar Beispiel-Kacheln aus unserem Datensatz heraus. Und zwar als erstes so ein ziemlicher niedersächsischer Durchschnittskachel, würde ich mal sagen. Also wir haben uns angeguckt, wo sind irgendwie so durchschnittlich viele Gebäudeumrisse in unserem Datensatz. Und da hat sich eben diese kleine Ort bei Bremerhaven herausgestellt.
11:23
Was man hier eben erkennt, sind, dass man so ein bisschen Industriegebiet hat. Man hat Wohngebäude, aber auch so ein bisschen Agrarfläche. Und wenn man reinzoomt, erkennt man tatsächlich auch so ein paar Differenzen von OSM zu unserer Ground Truth.
11:40
Und wie man oben links sieht, ist so ein bisschen leichter Versatz, wie wir auch vorhin im Vortrag von Jona schon ein bisschen gehört hatten. Was sich generell beim OSM-Datensatz im Vergleich zu unserer Ground Truth herausstellt. Und gleichzeitig fällt auch auf, dass hier und da so kleinere Gebäude sogar auch ganz fehlen.
12:00
Trotzdem, im Gesamtüberblick ist gerade bei eben diesen Wohngebäuden eine sehr hohe Überschneidung. Kommen wir zu der gleichen Kachel vom Microsoft-Datensatz. Hier in grün dargestellt ist eben die Differenz zu der vorherig dargestellten Kachel.
12:21
Also jetzt hier die Differenz von Microsoft zu OSM. Auch hier generell eine sehr gute Übereinstimmung. Hier und da gibt es aber immer wieder so ein paar leichte Differenzen. Irgendwie dann ist die Kante so ein paar Zentimeter quasi weiter in eine andere Richtung.
12:41
Oder hier und da fehlen Kleinstgebäude oder auch kleinere Häuser. Unser Machine Learning KI-Ergebnis sieht auch ähnlich aus. Ich persönlich bin natürlich ein bisschen biased, aber ich würde sagen, das sieht ein bisschen besser aus.
13:01
Aber auch hier da fehlen auch wieder so ein bisschen kleinere Gebäude. Oder man kann erkennen, dass es auch ab und zu so ein paar leichte Versätze gibt. Nachdem wir uns jetzt so eine Durchschnittskachel angeguckt hatten, haben wir überlegt, woher kommen denn so diese Differenzen in den Metriken?
13:24
Und zwar zum Beispiel in Bezug auf die Gebäudegröße. Und da war unsere Hypothese, dass jeweils die KI-Modelle, also das Microsoft-Datensatz und von unserer KI jeweils die ein bisschen größeren Gebäude besser segmentieren kann oder besser erkennen kann als kleinere.
13:42
Und bei OpenStreetMap eben kleinere Gebäude schlechter in der Datenbank vorhanden ist als größere. Allein dadurch aus Interesse, ein Wohngebäude hat mehr Relevanz als eine kleine Gartenhütte im Innenhof.
14:01
Und genau für die KI-Modelle ist es sicherlich auch einfacher, große Gebäude zu erkennen als eben auch kleine und eine größere, genauere Übereinstimmung bei größeren Gebäuden als bei kleineren. Und genau das kann man dann tatsächlich feststellen, wenn man sich eben die Gebäudegröße auf der X-Achse betrachtet
14:24
und die Intersection over Union auf der Y-Achse. Wobei man hier auch darauf achten sollte, dass die X-Achse logarithmisch skaliert ist. Und man somit eben bei OpenStreetMap eine sehr, sehr starke Ansteigung hat mit der Gebäudegröße bis zu circa 100 Quadratmeter,
14:43
was eben auch ungefähr so, ich würde mal sagen so ein Standard Einfamilienhaus ungefähr entsprechen würde. Also Ab Einfamilienhausgröße hat man schon eine sehr gute Übereinstimmung und alles darunter eher ein bisschen schlechter. Und noch Gleiches gilt tatsächlich auch für die KI-Modelle in ein bisschen anderem Maßstab.
15:03
Das heißt, hier haben sich unsere Annahmen bestätigt. Eine weitere Hypothese war gegenüber der Gebäude Dichte, dass jeweils die KI-Modelle in so einem Durchschnitts-niedersächsischen Dorf quasi in einem Wohngebiet am besten abschneidet und OSM eben in der Innenstadt oder in dicht besiedelten Regionen wesentlich besser abschneidet.
15:30
Und hier sieht man so ein bisschen, dass OpenStreetMap sowohl bei sehr dünnen besiedelten Regionen tatsächlich ziemlich gut ist,
15:43
dann flacht es wieder so ein bisschen ab und nachher bei sehr dicht besiedelten gibt es auch wieder eine Steigerung, wohingegen jeweils die KI-Ergebnisse tatsächlich gar nicht so sehr bei dicht besiedelten besser werden, sondern der Microsoft-Datensatz quasi so ein Plateau hat bei 100 Footprints pro Teil und dann nachher wieder ein bisschen abnimmt
16:08
und unsere KI tatsächlich überall so ein kleines bisschen stetig abnimmt. Das heißt, hier haben sich unsere Annahmen nicht ganz bestätigt bzw. nur für unser eigenes KI-Modell nicht ganz bestätigt.
16:22
Kommen wir nun weiter zu exemplarischen Darstellungen, einmal für ein dünn besiedeltes Gebiet und nachher für ein dicht besiedeltes Gebiet. Genau, hier habe ich tatsächlich ein dünn besiedeltes Gebiet genommen, absichtlich wo OpenStreetMap eine der schlechtesten Abschnitte hatte.
16:41
Also es soll jetzt kein negatives Cherry-Picking sein, aber einfach nur um verbesserte Differenzen vielleicht herausstellen zu können. Und hier sieht man genau in orange unsere Ground Truth und in grün die OSM-Daten und hier sieht man schon, dass einige Gebäude tatsächlich fehlen oder immer mal wieder so ein leichter Versatz gibt.
17:02
Bei dem Microsoft-Datensatz ist es tatsächlich auch so. Was ich hier aber auch spannend fand, ist das zusätzliche Gebäude, die in keinem anderen Datensatz mitvermerkt waren. Bei unserer KI würde ich sagen, es sieht tatsächlich ganz gut aus.
17:23
Kein Cherry-Picking, diese Kachel war tatsächlich zufällig. Kommen wir nun zu einem dicht besiedelten Gebiet und hier finde ich OpenStreetMap tatsächlich ziemlich stark, wie detailliert die Konturen angegeben sind, Polygonen von den Gebäuden. Nur, was mir aufgefallen ist unten links, da ist so ein Heugebäude-Komplex komplett, was nicht drin ist.
17:44
Das hat mich ein bisschen überrascht, aber sonst fand ich es da sehr schön. Wohingegen der Microsoft-Datensatz bei dieser speziellen Kachel irgendwie ganz wild war, sieht so ein bisschen aus wie Blitze oder was weiß ich. Wir vermuten, dass es einfach daran liegt, dass es eben ein KI-Modell war
18:04
und hier von der Segmentierung auf die Polygone irgendwo ein Schritt nicht so ganz sauber gelaufen ist. Unsere KI versagt so ein bisschen hier bei der Kirche, würde ich sagen.
18:21
Vielleicht ist da irgendwo mit einem Schatten eingeflossen oder grob aufgelöste Höhenmodell, aber sonst fand ich hier die Ergebnisse auch ganz schick anzusehen. Dann nochmal als Vergleich unserer Alkes-Daten. Die hatte ich bis jetzt nicht so sehr hervorgehoben, weil es quasi identisch ist mit unserer Ground Truth als Referenz.
18:46
Hier ist es natürlich sehr schick, insbesondere auch bei der Kirche, die super feinen Polygonen.
19:02
Jetzt müsste es gehen. Kommen wir zum letzten Abschließenden. Dann haben wir uns nochmal überlegt, wir wollen nochmal die regionalen Unterschiede herausfinden. Jetzt gerade, wo wir gesehen haben, dass unsere KI eigentlich so ganz gut abschneidet, haben wir uns gedacht, wir könnten ja mal vergleichen für Niedersachsen, für 500 zufällige Kacheln, die jetzt auch ein bisschen größer sind, zweimal zwei Kilometer.
19:21
Vergleichen wir mal, wie die USM-Daten, wie die Differenzen von USM zu unserer KI sind, ob wir da irgendwelche regionalen Unterschiede sehen können. Wir haben jetzt hier mal eingefärbt nach der IOU, die jeweilige Kachel, welche besser und welche schlechter abschneidet, also rot eher schlecht, grün gut. Das erste Ergebnis war so, dass man jetzt auf den ersten Blick keine richtige regionale Tendenz da irgendwie erkennbar ist,
19:45
aber doch schon so ein bisschen in den Waldgebieten. Wir haben auch nochmal so eine Heatmap gemacht. So um Weißrode, Solltau rum, wo so viel Wald ist, da gibt es schon nochmal ein bisschen größere Abweichungen. Aber so grundsätzlich waren da keine regionalen Unterschiede zu erkennen.
20:02
Kommen wir zum Abschluss. Nochmal so eine kleine Zusammenfassung, wo wir nochmal so ein bisschen die Vor- und Nachteile rausgearbeitet haben zu jedem Datensatz. Bei USM muss man ganz klar sagen, das ist global verfügbar. Open Data. Wir haben hier deutliche ergänzende Attribute und Information.
20:21
Als Negativpunkte allerdings ist die Vollständigkeit. Wir haben gesehen, dass gerade die ganzen kleineren Gebäude, so Nebengebäude einfach nicht vorhanden sind. Ist auch die Frage, ob man das unbedingt braucht, aber wenn man sie haben will, fehlen sie hier halt eben. Wir haben hier inhomogene Genauigkeiten und Aktualität. Also es gibt halt Bereiche, die besser gepflegt sind als andere.
20:41
Und oftmals haben wir so Verschiebungen und Rotationen gesehen. Der Microsoft Datensatz ist auch global verfügbar. Nicht komplett, aber so Europa ist relativ gut abgedeckt. Ist auch Open Data und wird vor allen Dingen regelmäßig erweitert und aktualisiert. Allerdings haben wir hier eine nicht so sehr hohe Segmentierungsqualität.
21:01
Und vor allen Dingen haben wir viele grobe Fehler entdeckt. Und das sieht man auch in dem GitHub Repository. Da wird das auch immer wieder angemerkt, dass für verschiedene Gebiete da wirklich sehr grobe Fehler drin sind. Was heißt, man kann diese Daten nicht einfach so blind benutzen. Man muss die auf jeden Fall vorher validieren, wenn man die irgendwo einbinden will. Und wie bei jedem KI-Modell, was aus Luftbildern arbeitet, haben wir hier natürlich einen Vegetationseinfluss.
21:21
Also Gebäude, die unter einem Baum stehen, werden da nicht erkannt werden können. Genau bei Alkes haben wir sehr präzise Grundrisse. Haben hier auch Informationen zu der Gebäudefunktion, also für was das Gebäude genutzt wird. Und eben vor allen Dingen diese sehr starke Unterteilung in kleinere Gebäudestrukturen. Allerdings haben wir hier als großen Negativpunkt natürlich die Verfügbarkeit und auch die Lizenz, was sich ja auch ein bisschen bessern wird.
21:46
Aber aktuell ist das eben noch ein großer Kritikpunkt. Und auch hier haben wir innenhomogene Genauigkeiten und Aktualität. Also das ist auch für viele Bereiche unterschiedlich. Und das ist eben auch stark abhängig von den Gesetzen. Was ist überhaupt einmessungspflichtig, wie ist ein Gebäude definiert.
22:02
Unsere KI haben wir gesehen eine recht hohe Segmentierungsqualität. Und wir haben vor allen Dingen, was der größte Positivpunkt ist, eine sehr homogene Genauigkeit mittlerweile. Das heißt, zumindest für Niedersachsen, wo wir es überprüfen können, klappt das eigentlich in allen Gebieten sehr gut. Und wir haben auch eine hohe Aktualität, weil wir im Prinzip jedes Mal, sobald wir eine neue Befliegung haben,
22:25
auch neue KI-Ergebnisse haben und dementsprechend da immer aktuell mit der Befliegung sind. Die Negativpunkte sind hier aktuell auch noch die Verfügbarkeit und die Lizenz. Das ist eben auch noch nicht so wirklich geklärt alles. Und auch, wie bei allen KI-Modellen, der Vegetationseinfluss.
22:41
Genau, das war es soweit von uns. Wir bedanken uns für die Aufmerksamkeit. Und unter dem QR-Code findet ihr nochmal alles zu uns weitere. Vielen Dank. Vielen Dank euch beiden.
23:01
Ich habe einige Fragen, die hier reingekommen sind über den Chat. Ein Thema, das mehrfach aufgetaucht ist, sind auch Überstände. Also quasi in der Vermessung misst man ja quasi den Grundriss und die Dachüberstände. Die verfälschen das ja in Anführungszeichen oder geben ein bisschen eine andere Wahrheit.
23:20
Habt ihr da Erfahrungen, gibt es da so eine Art, eine Referenz, wo man sagt grundsätzlich bei diesen vielleicht Gebäudetypen, wissen wir, dass die Verfälschung in Anführungszeichen oder die Vergrößerung deswegen aus diesen Bildern ein so und so großen Prozentsatz oder Anteil ist, könnt ihr da was sagen?
23:41
Ja, also grundsätzlich muss man ja auch erstmal sehen, die Trainingsdaten, die wir haben, die wir auch zum größten Teil aus Alkes beziehen, haben eben, wie du gesagt hast, genau das aufsteigende Mauerwerk, die Grundrisse, also nicht die Dachfläche. Aus dem Bild kann man jetzt aber nur die Dachflächen eben sehen.
24:00
Wir hatten so teilweise das Gefühl, dass die KI so ein bisschen diesen Dachüberstand mitlernt und die Polygone ein bisschen kleiner segmentiert. Wir sehen aber auch trotzdem jetzt bei diesem Vergleich dann, wenn wir mit der Referenz vergleichen, eben aber hatten wir, deswegen haben wir dieses Distanzmaß da auch mit reingenommen, dass wir so 40 Zentimeter Abweichung haben zwischen KI Eckpunkt und der Referenz.
24:26
Und das ist oftmals vielleicht genau dieser Dachüberstand auch. Und ja, aber genau, also das wird halt nicht möglich sein. Also das wäre immer nur ein Schätzen von der KI, dass es irgendwie diesen Dachüberstand irgendwie schätzen müsste.
24:44
Also man kann halt eben nur das aus dem Bild sehen. Die KI kann da nicht mehr sehen als wir. Danke. Dann eine nächste Frage. Gibt es eine Karte, wo man nachschlagen kann, wo man in OSM nochmal drüber gehen sollte, quasi als Anweisung für die Hausumringe?
25:05
Also quasi, ich interpretiere das so, wo gibt es einen Hinweis darauf, hier sollte man OSM vielleicht nochmal nachbriefen aufgrund von euren Evaluationen. Ich fand es tatsächlich ganz spannend, mir eben die 193 Kacheln nach einer gewissen Metrik zu sortieren
25:24
und mir da anzugucken, diese fünf Kacheln sind quasi die Kacheln mit der schlechtesten Übereinstimmung von verschiedenen Datensätzen. Und dass man anhand dieser Differenz zumindest Auffälligkeiten feststellen kann,
25:40
wie ich halt eben auch an diesen Landbild, so genau bin ich da quasi vorgegangen, dass ich mir angeguckt habe, was ist irgendwie dünn besiedelt und habe mir die dann da die Kacheln angeguckt, also eine zufällig rausgewählt, die eben eine tatsächlich sehr schlechte Übereinstimmung hat.
26:02
Und eben ähnlich könnte man dann vorgehen, um zum Beispiel dort dann halt selbst nochmal nachzumessen und zum Beispiel OSM aktualisieren. Eine Frage zu Google. Wie sieht es denn mit Google aus? Die scheinen ihre Gebäudedaten inzwischen komplett unabhängig über KI zu generieren.
26:23
Qualität ist subjektiv momentan und eher fragwürdig. Könnte sich aber mit Street View noch verbessern? Habt ihr das auf dem Schirm? Ich habe irgendwie die Frage nicht ganz richtig verstanden. Google? Google. Ach, Google.
26:42
Entschuldigung. Mein Schweizer Dialekt vielleicht. Ne, also wir hatten, es gibt auch ein Datensatz von Google, die haben auch so eine KI-Erkennung, aber die haben keine Daten für Europa aktuell. Ich glaube, die haben eher für die Entwicklungsländer das viel gemacht,
27:03
weil es da eben oftmals überhaupt keine Kartierungen gibt von so Gebäuden und sowas, oder das wird dann viel weniger geführt, deswegen ist da ein größeres Interesse gewesen. Ne, genau, aber jetzt, man könnte ja auch von Google Maps, aber wie man da an die Polygone kommt, weiß ich ehrlich gesagt nicht, haben wir nicht mit betrachtet, sonst nein.
27:23
Gut. Frau Knast, dem Publikum.
27:41
Ich habe noch mal eine Frage zu den Metriken, die ihr am Anfang vorgestellt habt. Wie habt ihr denn die Gebäudeumrisse quasi gematcht? Also ich kann mir vorstellen, wenn die nah beieinander liegen, dann ist es einfach. Aber wenn man sieht, okay, das eine ist dann irgendwie segmentiert, das andere nicht,
28:01
und teilweise habt ihr dann auch sehr wilde Shapes gezeigt. Wie habt ihr das hinbekommen, dass das gepasst hat? Da ist tatsächlich sehr viel Zeit reingeflossen. Das war auch das, weswegen wir mit dieser Evaluierung erst vor kurzem auch richtig anfangen konnten, weil das sehr lange gedauert hat, da was Vernünftiges zu finden, wie man das miteinander gut matcht.
28:23
Gerade dadurch auch, dass, wie man bei Alkes diese ganz vielen kleinen Unterteilungen hat, das irgendwie zum Beispiel auch dann irgendwie zu matchen wieder. Wir haben da jetzt dann mittlerweile das über, ja eigentlich auch hauptsächlich über Verschneidung und Überlappung, dass mindestens 30 Prozent, glaube ich, von dem einen muss sich überlappen,
28:42
damit das einander zugeordnet werden kann. Das funktioniert dann in beide Richtungen. Also man hat da dann so eine N-zu-M-Beziehung auch, ist etwas komplex, aber funktioniert jetzt eigentlich so ganz gut. Aber es führt teilweise dazu, dass sehr viele Sachen, wenn die sich nur immer so leicht überschneiden, gerade so in Bereichen, wo Verschiebungen und sowas sind, dass dann sehr große Paare gebildet werden.
29:04
Dann hat man natürlich dann vielleicht aus mehreren Gebäuden, die werden dann als ein Paar sozusagen betrachtet, aber für das kann man dann auch diese Abweichung berechnen. Hauptsächlich haben wir das Ganze genutzt, weil wir ja eigentlich als Aufgabe haben, dass wir Alkes oder finden wollen, wo in Alkes sich was verändert hat.
29:22
Und da haben wir halt genau die gleiche, da brauchen wir diese Zuordnung halt eben auch, um dann zu finden, an welchen Polygonen hat sich jetzt, weil immer diese, wo komplett was neu gebaut ist oder komplett weggerissen ist, ist sehr einfach zu finden. Aber da, wo sich was verändert hat, das ist halt sehr schwierig, weil man dafür erst mal dieses Matching machen muss.
29:41
Eine kurze Frage zum Schluss vielleicht noch. Ihr habt vorhin gesagt, dass ihr ein durchschnittliches Wohngebiet oder durchschnittlich Besiedel euch angeschaut habt.
30:04
Wie habt ihr das definiert? Habt ihr dann nur so nach belegter Grundfläche geschaut oder auch nach Gebäudearten oder sowas? Da diese Durchschnittskachel war tatsächlich jetzt nur quasi der Durchschnitt oder Median der Gebäudeanzahl, der Foodpantanzahl pro Kachel.
30:22
Also man hätte genau einfach noch mehr unterschiedliche Kriterien sich heraus suchen können, um quasi so einen Median-Durchschnittskachel zu finden. Aber so viel Zeit hatten wir leider auch nicht. Gut, dann bedanke ich mich. Noch mal ein Applaus für die beiden und bis bald.