Ja, hallo alle zusammen. Ich wollte heute was sagen zu Mapillary und was in den letzten Monaten so passiert ist auf der Seite. Weil es ja auch interessant ist aus der Open-Street-Map- und GISS-Geschichte, aus der Sicht.

Vielleicht für die Leute, die nicht wissen, was Mapillary macht. Wir machen Crowdsource 2D zu 3D-Rekonstruktion der Welt. Man schickt also 2D-Texturen an Mapillary ran und dann machen wir auf unseren Servern dann eine 3D-Representation davon

und extrahieren daraus dann auch Map-Features und Texturen und so weiter. Wir machen also keine eigenen Karten, sondern wir liefern die Daten für zum Beispiel Karten.

Zurzeit sind das so fast 100.000 Anwender, die dann so ungefähr eine Million Bilder pro Tag auf die Plattform schicken. Inzwischen sind das so ungefähr 430 Millionen Bilder, die da so aktiv liegen. Wie gesagt, wir machen ein visuelles Modell der Welt und daraus holen wir dann über unterschiedliche Deep Learning-Algorithmen,

die wir auch auf unserer Research-Seite veröffentlichen. Map-Features raus, also wie zum Beispiel Straßenschilder, Stoppschilder, dann hier die ganzen Straßenmarkierungen und Lampen, alles, was man so erkennen kann.

Und das ist dann alles erreichbar über APIs, aus denen wir dann selber also Komponenten bauen für die Community und die man auch direkt dann, an die man direkt dran gehen kann.

Also um das mal zu gucken, um so ein bisschen grafisch zu machen, habe ich hier einen ganz kleinen Film vor einer Minute. Normalerweise mache ich das nicht, aber es ist effektiver als das alles zu erklären. Also im Grunde, ich hoffe, dass das Netz heute mitspielt. Aber es geht darum, dass man zum Beispiel jetzt ein Video reinhängt von der Dashcam. Wir segmentieren das mit Deep Learning-Algorithmen und klassifizieren die unterschiedlichen 2D-Sachen.

Wir machen da teilweise auch dann das Instance-Precifizier, dass das praktisch nicht nur als Auto klassifiziert wird, sondern als Auto 1, Auto 2, Auto 3, dass man da dann auch zum Beispiel Bäume zählen kann oder Straßenschilder voneinander unterscheiden kann.

Da kann man alle möglichen Sachen machen, was für unterschiedliche Bereiche spannend ist. Also zum Beispiel, ob das jetzt 3-Fahrbahnen oder 2-Fahrbahnen sind, ist manchmal schon interessant. Eine unserer Open Source-Geschichten, da sage ich noch etwas zu, ist OpenSFM. Da machen wir 3D-Interpolierung von 2D und bauen dadurch dann Punktwolken auf,

auf die wir dann die sematische Segmentierung anwenden und dadurch dann segmentierte Voxels kriegen im Grunde. Und die können wir dann natürlich über die Segmentierung zusammen klustern und daraus dann sowohl eben Point-Features wie auch zum Beispiel hier die Straßen oder die Lampen oder auch andere Sachen rausziehen.

Also zurzeit haben wir jetzt gerade 42 neue Punkt-Features rausgebracht. Und wenn es um die Straßenschilder geht, sind das zum Beispiel so um die 1500 unterschiedliche Klassen. Also Stoppschilder in Nordamerika, Stoppschilder in Deutschland, Stoppschilder in überall. Also das ist nicht gerade wenig, es sind sehr viele Variationen dabei, die wir dann da auch erfassen müssen.

Ach übrigens, wenn es Fragen gibt, einfach Fragen. Also das ist ungefähr was wir machen. Bei der Datenmenge ist vor allem der Schwerpunkt darauf, das inkrementell zu machen, weil einfach man das exhaustive, wie das zum Beispiel damals Microsoft gemacht hat

in ihrem, wie hieß das noch, wo man da durch die Sachen durchgehen kann. Also wenn man jetzt 3D-Modelle berechnet aus den eingehenden Bildern, ist das normalerweise, dass man das von allen macht. Und das ist rechentechnisch gesehen recht teuer. Und wenn da ständig welche reinkommen, dann muss man das ständig dann wieder machen.

Und teilweise dann auch, dass wir die Prozessierkosten niedrig halten.

Wofür wenden wir das an? Gerade jetzt, wenn es ums GISS geht. Also die klassische Sache, die natürlich wahrscheinlich jeder von euch so sehen wird, ist, dass man zum Beispiel in OpenStreetMap Mapillary integriert hat, ich sag da noch was zu, sodass man die ganzen Daten, die da rauskommen, dann für OpenStreetMap anwenden kann

und daraus dann Sachen wie Hydranten extrahieren kann oder eben auch Straßenschilder Einbahnstraßen, Kreuzungen verifizieren, Bürgersteige und so weiter und so fort. Unsere klassischen und kommerziellen Anwender sind zum Beispiel Kommunen und Länder und eben auch Departments of Transportation in den USA,

die einfach Sachen inventieren wollen und dann auch entdecken wollen und das über die Zeit dann abgleichen wollen. Die wollen wissen, wie sehen denn die Brückenhöhen, Schilder jetzt aus? Sind da neue dazugekommen? Sind da welche weg oder sind jetzt Bäume oder Fahrbahnbegrenzungen da oder nicht mehr da?

Dass man das dann automatisch machen kann mit auch relativ billigen Devices. Also viele machen hier so GoPros oder kleine 360-Kameras oder so was. Und dann was zunehmend kommt sind eben die ganzen High Definition Maps,

wo zur Zeit der Riesen-Forschungsaufwand betrieben wird, um zu sehen, wie die Formate aussehen und dann auch wie man die updaten soll. Und der Fluss an dem wir da mitarbeiten ist dann eben, dass die Daten von den Autos kommen, die dann verarbeitet werden und dann zum Beispiel am nächsten Tag,

das geht da relativ schnell, also nach zwei Stunden ist das alles prozessiert, das dann wieder zurückfließt in die statischen High Definition Maps, sodass dann eben am nächsten Tag die selbstfahrenden Autos oder eben die Driver Assistants dann wissen, dass zum Beispiel eine Baustelle ist, wenn das mehrere Autos dann gesehen haben.

Wir versuchen da die Daten, es gibt da zwei Sachen. Das große, was man so auf der Webseite sieht, ist das publike Mapillary, was eben auch als Datenquelle für offene Projekte da ist. Und dann gibt es natürlich kommerzielle Kunden, die wollen das geschlossen haben. Wir versuchen die immer in Richtung großes Mapillary zu schieben.

Aber das gelingt uns nicht immer, gerade bei so Automobilfirmen und so, die wollen das eben nicht. Wäre aber eine super Sache und wir sind auch mit größeren Spielern zu Gange, das öffentlich zu machen, sodass dann praktisch zum Beispiel die ganze Open Street Map Community dann plötzlich flächendeckende Daten von Städten in Deutschland hat.

Was natürlich schick ist, über die Zeit auch. Was neu ist, und gerade in Deutschland ist ja Mapillary sehr beliebt, ist, dass man systematisch jetzt anfangen kann, Sachen abzudecken.

Wir nennen das Capture Projects. Es gab schon immer jede Menge Skripte und so, wo Leute versucht haben, die Kameras und die ganze Einstellung von Daten zu automatisieren. Jetzt macht man das so, dass man einfach eine Shape nimmt, also ein Polygon, daraus ein Projekt macht und dann einen Grip drüber zieht. Wahlfreie Auflösung, also zum Beispiel, dass es dann meinetwegen so hier werden 100 oder was, 68 oder 70, also eine Tiles.

Und den weist man dann Anwender zu. Wir sind dabei, dann auch den Anwendern Kameras zuzuweisen, wenn wir nur die Dashcam-Leute dazu kriegen können, ihre Kamera-IDs in die Videos einzubetten, sodass wir das dann matchen können.

Und dann werden die Bilder von Inaps oder was man da jetzt anwendet, automatisch angeschaltet, wenn man jetzt zum Beispiel als der Driver hier reinfährt in das Teil hier. Das ist praktisch eine erste naive Routing-Geschichte. Wenn das dann weitergeht, wenn das jetzt sich bewährt hat, dann werden wir dann natürlich dann richtig Routing machen, dass man sagt, wenn du hier langfährst mit Hinblick auf dein Projekt,

dann ist da noch nichts gemacht oder die Daten sind nicht frisch genug oder so. Gerade von der Open-Street-Map-Szene kommen da immer wieder die Nachfragen, dass man das dann nicht auf Zettel und Bleistift machen braucht, wo man da jetzt langfahren will.

Das ist eine recht interessante Geschichte, versprechen wir auch viel uns von, und gerade in der Kombination mit dann auch Dashcams und 360-beliegen Sachen. Mapillary.js ist eine große Open-Source-Komponente, die wir entwickelt haben und pflegen. Die ist auf 3GS basiert. Wir haben das damals als ersten Viewer für Mapillary gemacht.

Es hat sich dann gezeigt, dass es zu komplex wurde, dass wir das alles nochmal umgeschrieben haben in TypeScript und alles schick. Wenn man da auf GitHub guckt, jede Menge schöne Beispiele

und ist eben auch integriert in den Open-Street-Map-ID-Editor und so weiter. Also wenn man sich das hier so anguckt, ich kann mal gucken, ob ich da reingehen kann. Wir haben vielleicht hier einen Editor da. Dann ist das also hier der ganz normale Editor und die Map-Daten. Da kann ich dann hier unter anderem ein Foto-Overlay und dann vielleicht auch den Traffic-Sign-Overlay reinmachen,

was für Open-Street-Map interessant ist. Wie gesagt, da sind andere Point-Features auch noch. Das wird dann wahrscheinlich später integriert. Aber hier sieht man praktisch jetzt zum Beispiel in Dresden eine ganze Menge entdeckte Objekte. Und wie man sieht, die sind also nicht da, wo die Bilder sind.

Die sind rausprojiziert durch die Punkt-Worke eben in die interpolierten Positionen. Also wenn man da jetzt zum Beispiel guckt, wir können mal sehen, ob man da ein 20-Sign finden kann. Da gibt es noch mal eine ganze Menge von. Wir können mal gucken, ob wir was finden. Hier sieht man zum Beispiel Maximum Speed Limit 20, was dann vom Mappler erkannt wurde

und interpoliert wurde da, wo es ungefähr steht. Und unheimlich unheimlich nützlich, dass es eben nicht nur ein Street View ist, sondern dass man da wirklich auch die Objekte, dann sieht das Gleiche, passiert in Jossam. Leider haben wir noch keine Möglichkeit gefunden,

ordentliche JavaScript-Integrationen in Java zu machen. Also Swing und SWT und so ist furchtbar. Da kommt man nicht ran. Ist aber ein altes Problem in Java. Aber in ID geht es ganz gut. Also man kann sich das dann angucken. Hier zum Beispiel, wenn man jetzt auf das Bild geht,

dann sieht man eben, da ist irgendwo, hier sind jede Menge kleine Zeichen, die man normalerweise so von Hand kaum erkennt, wenn man das so machen will. Das ist wahrscheinlich das Zeichen, was wir da gesehen haben.

Also das machen wir nicht von Hand, das machen die Algorithmen. Ja, also da ist die Integration seit ein paar Monaten ganz gut fortgeschritten, dadurch, dass man da Mappler.js integriert hat. Also neue Features da, das kann ich ja mal zeigen. Wie gesagt, das ist alles open source und schick. Ich werde es mal versuchen,

ob ich das jetzt hinkriege. Wir haben in unseren alten Viewers die Punktwolke sichtbar gemacht, die ihr da in dem kleinen Video gesehen habt. Die ist nämlich überall. Ich hoffe, dass das Netz hier schnell genug ist, um die zu laden. Wir haben das nämlich wieder reingemacht, aber so ein bisschen als Verstecktes.

Da sieht man es, sodass man die Texturen, die man hier so sieht, ausblenden kann. Die Bilder sind eigentlich keine Bilder mehr, sondern das sind Texturen, wie man auch in Spielen und so hat. Sodass, was man eigentlich sieht, das hier ist. Wenn man da so durchgeht,

da sieht man jetzt, da werden mehr Punkte nachgeladen, dass man praktisch sich durch eine Punktwolke bewegt. Das ist eigentlich das, was wir innerhalb von Mappler.js hier mitrechnen. Man kann mal gucken, ob man hier die Kameras auch einblenden kann.

Die sieht man dann und ich kann dann auch vielleicht mal sehen, ob ich das Ganze gedreht kriege und hier reingehen kann. Ich glaube, man muss dann auf Kontroll drücken und kann dann hier sich das so angucken und kann sich dann auch weiterklicken. Hier sieht man mehrere Sequenzen, die hier gemacht wurden.

Das ist also live, was live auf Mappler.js draufliegt. Das ist so ein bisschen das, was dahinter steht. Es ist keine Leiderwolke, sondern es ist eine Wolke, die dazu dient, die Bilder zu positionieren, die Kameras zurückzurechnen, weil von solchen Sachen hier kommen GPS-Genauigkeiten von 10, 15 Metern manchmal runter.

Ohne das zu korrigieren, hat man da kaum eine Chance, da überhaupt was rauszukriegen. Das geht so weit, dass wenn man die Sequenz sieht hier, die ist wahrscheinlich genauer als die Fußgänger-Sequenz, die hier ist.

Da gehen die Kameras so ein bisschen so, da ist wahrscheinlich einer irgendwie so lang gelaufen, während hier ein Auto gefahren ist, wo die GPS-Spur normalerweise besser ist. Wenn da so etwas reinkommt und die sich überlappen, dann rechnen wir praktisch die beste Überlappung aus und werden dann innerhalb der Genauigkeitszirkel der unterschiedlichen Kameras die Kamera zurückrechnen,

sodass die Daten, die man hat, besser über die Zeit werden. Vor allem, wenn dann meinetwegen professionelle Leute dann eine 360-Aufnahme machen und dadurch im Grunde die ganze Punktwolke verankern. So sieht das ungefähr aus. Ich glaube sogar, normalerweise ist hier sogar noch eine Kontrolle drin,

wo man sieht, wie weit wir die Originalposition korrigiert haben, um zu einem guten Ergebnis zu kommen. Wo man dann sieht, wie stark das sich verändert hat.

Also das ist eine Sache, die wir da reingestellt haben, auch ganz gut zu wissen, wenn man sich mit sowas macht. Time-Travel in Panoramas, das ist ganz interessant. Mapillary macht ja praktisch eine ungestitchte Wirklichkeitsauffassung. Wir haben das am Anfang gemacht und haben versucht, Panoramen zu stitchen von den lassen Sachen, die reinkommen.

Haben wir aber nachher nicht gemacht, weil wir nicht die Daten zerstören wollen. Gerade wenn da neue reinkommen, dann weiß man nicht, was man da wieder reinstitchen soll und man zerstört Daten. Und wir machen das stattdessen, also wie man hier eben sieht, da machen wir es so, dass wir eben einfach, hier sieht man zum Beispiel, dass die Texturen, dadurch, dass ich mich jetzt ein bisschen hochbewegt habe,

einfach in den 3D-Raum sozusagen reingefrimmelt werden, die dann so kommen. Also zum Beispiel die Bildebenen, da die auch unterschiedlich tief sind, sehen praktisch nur so wie ein Bild aus, wenn man auch auf der Kameraposition steht. Ich muss mal gucken, ob ich in die reingehen kann hier.

So, das ist ein bisschen komisch, ich glaube so. Da sieht man jetzt, wenn ich auch in der Kamera stehe, dann sieht das gut aus. Wenn ich nicht in der Kamera stehe, dann sieht man, dass die Texturen sich verzerren, je nachdem wie viel tiefe Information man hat. Bei Panoramas ist das ganz interessant.

Ich werde mal sehen, ob ich das laden kann. Hier haben wir ein Panorama und die unterschiedlichen Positionen der Kameras machen es eben schwer, das dann 3D zu überblenden, wenn man sich da auch noch bewegt.

Insofern war das ein bisschen so ein Forschungsprojekt, wie wir das am besten machen. Aber wenn man das jetzt sieht, das hängt auch damit zusammen mit der nächsten Feature, Wir projizieren alle die unterschiedlichen Distortion der Kameras in das gleiche Koordinatensystem, damit die Pixel und die alles sich richtig verhält.

Das heißt auch, dass wir dann die 3D-Sachen entzerren können, sodass die dann auch mit der 3D-Wolke übereinstimmen und nicht das Originalbild ist ja dann meinetwegen so, während die 3D-Wolke dann gerade Kanten an den Gebäuden hat in Wirklichkeit. Und da können wir dann jetzt Sachen vergleichen, eben auch in Panoramas.

Also hier auf der rechten Seite ist das Gebäude fertig, auf der linken Seite wird daran noch umgebaut. Also wenn man sich jetzt zum Beispiel den Bürgersteig da anguckt. Und dadurch, dass wir eben auf die anderen Features im Bild sozusagen matchen und das relativ stabil ist,

können wir dann solche Sachen machen, die normalerweise eben sehr schwierig sind zu machen, weil die Positionen natürlich nicht übereinstimmen, die sind ja spazial nicht gegeben. Sodass viele Leute man will ja auch als historische Dokumentation anwenden,

weil es einfach interessant ist, das dann über die APIs dann in Zeitfolgen zu machen. Da sind wir ganz stolz drauf, dass wir das hingekriegt haben. Oh, zwei Minuten. Ja, dann werde ich das gar nicht weiter machen, sondern OpenSFM ist eine andere Komponente,

die wir Open Source gelernt haben. Das ist praktisch die ganze Structure for Motion Geschichte, die wir im Hintergrund machen. Die wird nicht nur für Mapillary angewendet, sondern hier ist zum Beispiel eine Punktwolke, wo man die Kameras oben sieht. Das ist Open Drone Map, die funktioniert also genauso gut auch für Spaziale und Otto Fotos.

Sodass wir, wir machen das selber nicht, dass wir Drohnenfotos und Schrägfotografie reinstellen, haben wir sehr viel Interesse dafür, aber Open Drone Map macht das. Und die wenden OpenSFM auch an, sodass wir für die auch mitentwickeln,

da wir der treibende Keil dahinter sind. Ganz interessant, die haben die ganze nördliche Seite zum Beispiel von Tanzania 3D modelliert mit Drohnenbildern. Mapillary Tools, Python Library. Was auch neu ist, ist, dass wir das alles ein bisschen in einen Anwendungsschnitt gemacht haben.

Viele Leute klagen, dass sie große Mengen Daten über die Webseite und über die Kameras nicht reinkriegen. Da haben wir jetzt einen Wrapper drüber gemacht, sieht super schick aus. Da kann man dann tausende Bilder positionieren, so ein bisschen wie Geo Setter und die dann direkt hochladen. Und das wird auch inzwischen dann Dashcams mit betreffen.

Und dann ganz zum Schluss, wenn ich noch eine Sekunde habe, ein Open Source Tool, was auch sehr schick ist. Da sieht man auch wieder die 3D. Mapillary JS stützt auch Markerplatzierung.

Das ist also eine volle 3D-Geschichte. Das heißt, wenn ich hier nach Dresden reingehe, meinetwegen hier. Ich suche mir mal hier was, wo ich klicken kann. Ich hoffe, dass ich jetzt hier was finde. So, habe ich ein Bild hier, sieht nicht besonders gut aus. Hat Fell 3 gemacht. Aber wenn ich jetzt hier drauf klicke, sieht man hier, sehe ich praktisch über die 3D-Abstände, wo ich gerade hingucke.

Wenn ich dann hier klicke, dann habe ich hier einen Marker, den ich dann eben auch entsprechend nach vorne und zurück ziehen kann. Was für Open Street Map, das könnte man zum Beispiel in den ID-Editor einbauen, aber viele Leute machen das über den hier.

Und können dann, ich glaube, ich kann noch einen Marker machen und den dann rumziehen. Und dadurch eben Sachen platzieren in der Wirklichkeit und die dann auch interaktiv auf der anderen Seite platzieren.

Und das dann über die Tags hier an Open Street Map abliefern. Wenn ich da also einen Hydranten oder eine Störung oder irgendwas finde, kann ich das gleich interaktiv dann eingeben. Es wird angewendet, ist aber auch Anregung zu Integration, die man da machen kann.

Ja, mehr Zeit habe ich nicht. Fragen? Genau, vielen Dank. Wir haben Zeit für vielleicht eine Frage. Genau, bitteschön. Ich habe so viele Fragen. Leider kann ich nur eine stellen. Vielen Dank für den sehr interessanten Vortrag. Die Frage, die mich vielleicht am meisten interessiert ist, als Google Street View in Deutschland eingeführt wurde,

hatten die, und das ist auch jetzt noch so, wenn man die Gebäude sich in Google Street View anguckt, ich selber wohne in so einem, was verpixelt ist in Google Street View. Habt ihr jemals irgendwie Probleme gehabt, dass Leute euch irgendwie gefragt haben, verpixelt bitte die Häuser? Das können die selber machen. Man geht hier rein in das Bild und geht dann einfach in den Editor rein,

sagt, ich will Privacy Blurs editieren und dann werde ich das mal Schluss machen. Und dann sage ich einfach, ich mache hier einen Blur und haue das ganze Gebäude weg und sage, der soll jetzt verpixelt werden.

Und das wird dann im Nachhinein verpixelt. Da sitzt ein Admin und wenn du mehr als 300 Blurs approved hast, dann bist du sozusagen durch, dann kannst du noch mehr blüeren und das wird dann automatisch approved. Aber geht das dann auf alle Bilder? Weil ihr habt doch Gebäude immer, also sobald wieder neu oder lang fährt, ist doch das Gebäude wieder in einer anderen Fotosäle? Dann ist das Gebäude wieder in einer anderen Fotosäle.

Also wenn du das weiter verpixeln willst, dann musst du selber drauf. Wir machen das nicht automatisch, wir machen es aber über zum Beispiel militärische Objekte und so. Wenn man uns die Polygone gibt, dann nehmen wir die, das ist ein bisschen Moment 22. Eine schwedische Wehrmacht, die haben sich beschwert, oh, militärische Objekte.

Und dann sagt ich zu ihnen, ja, dann gibt uns die Polygone von den Militärischen. Nein, das ist heimlich, das ist, das können wir nicht machen. Insofern ist das so ein bisschen das IOD die Henne. Aber machen wir schon, wenn wir die Daten haben, ja.

Gut, vielen Dank. Das war Schluss. Vielen Dank, Peter, für den Talk. Nochmal einen Rund Applaus.