Bestand wählen
Merken

Bereitstellung eines Web Services von globalen, kontinuierlich einfließenden Satellitendaten hoher Auflösung am Beispiel von Sentinel-2

Zitierlink des Filmsegments
Embed Code

Automatisierte Medienanalyse

Beta
Erkannte Entitäten
Sprachtranskript
jetzt von dass mir die Erde ein wenig nach Hallstadt zurück um wieder runter zu kucken und bekommt unter mit Hilfe von Sentinel 2 und dazu haben ich hier rufen Volkmann auf der Bühne und der wird uns ein paar Einblicke auf die Erde von draußen verschaffen würde es für genau hallo Herr zu bekommen haben das
wertvollste heute vorstellen haben wie ich eine Bowle Solution der Service im Sinne von dem es geht es rutschig sich Standards von 2 Daten mehr der gelöst habe und der zu mir ich bin Volkmann ich arbeite an als Rechenzentren DLR in Oberpfaffenhofen genau kurz zum
Inhalt statt 1. bissel Projektvorstellungen in dessen Rahmen ich das umgesetzt QD aber nur ganz kurz
da hat Christian ja schon gestern und Vortrag zurückgehalten interessiert hat war dort haben wir dann ganz schnell Überblick über sein für 2 was wir sind es für Daten haben dann der die Anforderungen an den
Service der ursprüngliche so wie das ursprünglich geplant war und dann meine um Evolution nicht sie umsetzen wollte die gewählte Variante die eingesetzte Software und dann noch ein bisschen was zur Entwicklung von ihr unserer und dann die tatsächliche Umsetzung noch und wenn möglich das bringen würde es gibt es
wieder aber ist eine Art gut also erst eine gute ist soll die nennt sich Koch Kopernikus Täter exotischen Plattformen Deutschland DE für Deutschland das ist der nationale Gruppe kupfernen Kopernikus mehrere wo man Daten von den Kopf keine Calls Kloster einsehen und Unterlagen kann am Ende und das wird von DLR geleitet aber Christian hat er gestern viel mehr zählt das das ist aber wenn also nur so man kann jetzt hier an der Oberfläche Wingst die hat man in der Liste der und der kann filtern Daten filtern versuche rechts ist dann wie so bis zum Ergebnis und Mitte in der Mitte ist dann eine ein DMS Browser-Fenster wo man die Daten auch gleiche Solisten schon sehen kann und darum geht es bei dem Vortrag mal das war meine Aufgabe in dem Projekt in dem es zu realisieren zu den Daten sind für
2 essen sollte wird von dem Copernicus Programm um und zwar habe ich da die Level 1 MSI Daten verarbeitet ist es der ist das Instrument das die Daten aufnimmt und Level 1 heißt das sind die nicht die Rohdaten des der Level 0 sondern als vor prozessierte Daten aber inhaltlich nicht jetzt verändert wurden und zwar in den des in's Instrument 13 Bände sichtbaren nicht sichtbaren Bereich auf die Daten liegen dann als jetzt 7. Teil vor im SWF-Format dass es von der Esa wo die die Daten die Bänder drin liegen aus auch Metadaten und aber auch Korrekturdaten Erbauer und so weiter und der Cloud K Apps und so insgesamt aber 500 Megabyte pro Datensatz und die eigentlichen Daten liegen dann im Chat weg 2000 Format vor und das für mich etwas blöde war einerseits das sind Hedwig 2000 Format vorliegen ja das auch und das sehen 120 UTM Zonen vorliegen aber was aber für eine globale dem es der Karte vielleicht nicht ganz einfach war der wir haben 10 Tausend Datensätze pro Tag alle 8 comma decimal 3 Sekunden kommt ein neuer dazu zu sein dass es dann wenn man richtig rechnet 500 10 Tausend Datensätze sind und 5. Arbeit am Tag die bei uns reinkommen also
und dann gab es will kam die aber da kann die Wunschliste an mich an ja ich sollen dem Essen DCS realisieren ich darf keine externe Dienste benutzen also keine Amazon 100 habe keine Cloud Boulder Prozess sind ich habe ich habe die hatte die Zimmer Zufügung steht so ja ich darf ich soll am besten kein zusätzlicher Speicherbedarf platzte brauchen oder möglichst wenig es soll natürlich mit Top-Performance haben wir wollen natürlich die volle Auflösung ohne Qualitätsverlust und das Ganze bei geringem Rusus Verbrauch und immer aktuell dort das kann man sich schon denken dass ok das schaffen wir vielleicht nicht ganz aber wir wollen dass möglichst viel davon erreichen deswegen habe ich der Evolution der
macht und zwar habe habe ich einen halt bewegendste Spannungsfeld einfach zwischen dem Speicherbedarf der Performance des das ist Services der
Auflösung und der Qualität natürlich das Service ist und wie viel die Ressourcen die wir verbrauchen das Processing weil wir eben in die Mitte der haben dann gab es die Idee okay Wiederhören surfen direkt die Originaldaten am besten weil der mehr Speicherplatz brauchen dürfen direkt aus dem wir den Zepter teilen also sagen kein Speicherbedarf verwaiste zusätzlichen Speicher wird also diese 5 Tage Arbeit pro Tag die Dateien liegen sowieso bei uns zum Download und dazu keine Zusätze Sprecher wird auf das heißt ich könnte ja direkt die Daten als wenn es aus den Zip Dateien direkt surfen und habe dann kein Speicher Speicherverbrauch das geht tatsächlich aber mit Einschränkungen Zeitlichkeit dann andere Möglichkeit entpackt ab ich dupliziert ich Datenmenge wäre möglich dann könnt ich denn für den Downloadlink dazu bundesweit selten wäre denkbar allerdings ist stößt das auf auch auf Grenzen bei der der der bei der Cebit 2003 war der Open Teppich 2003 doch recht langsam ist wobei sich da auch in in der in der Projektlaufzeit auch einiges getan hat also da könnte man jetzt vielleicht sogar noch weiter kommen aber ja hat mir ihr eher schwierig und der Performance und dann ich mache mir vor Prozessierung die andere Variante und dann stellt sich mir die Frage ist die sich in eine globales fordert System pro wir projizieren während der Prozessierung oder will ich das nicht machen weil ich die volle Auflösung behalten will und da die Datenmengen nicht nicht dass sie sich nicht stark vergrößern genau und dann die andere Frage nach Lossless Komprimierung folgende los die Komprimierung
also gar keine Komprimierung aber ausgeschlossen so trotz großer Datenmengen Presse kollidiert dann mit dem kein Sprecher von Platz Platz verbrauchen wo
das heißt auch in der Isolierung schön viel gemessen wir sind ist mir so der Untersuchungen der verschiedenen Komprimierung ist Methoden zum Beispiel aus Hand von Nische Speicherverbrauch und Geschwindigkeit Performance oder hier ist dann
die Performance ist es und da sieht man schon das Problem bei den Daten die direkt aus dem selbst will aus dem Z geschweige denn gesagt werden dass die grüne Linie steile Linie ist langsamer und die der gelbe Linie wäre dann das zweite die Originaldaten entpackt ist auch nicht so performant gewesen deswegen haben wir die 2. Lesung eigentlich ausgeschlossen und sind deswegen auf die anderen Lösungen kochen generellen da kann man dazu sagen die Revolution hat die geben dass die Eier legende Wollmilchsau nicht die so und zwar haben wir
so festgestellt dass man maximal zweieinhalb der Anforderungen mit einer Lösung erfüllen kann also der Anforderung die oben stehen die 4 Anforderungen und zwar habe es dann entschieden für die los die Komprimierung einfach weil der Speicherbedarf nur 10 bis 15 Prozent der von Los Komprimierung beträgt und das aufgrund deswegen auch der geringeren eine ohne gute Performance liefert allerdings da haben wir auch natürlich Qualitätsverluste durch Käthe Gates sagte die unabdingbar sind ja und natürlich auch weil ihre Tätigkeit in nur 8 Bit surfen und nicht in den 12 mit was es enthält 2 Instrument 1 kann hallo so dennoch allerdings nehme die Original Projektion des als wir projizieren nicht um währenden Prozess sehen dadurch kann mir die volle Auflösung bei gleicher bei geringem Speicherbedarf halt behalten weil sonst müsste man an den Polen der will würde man sehr vieles Zwetschen müssen und wenn ich das mit Tidal umrechne dann machte mir automatisch ne kleinere er eine kleinere Teile des heißt der verringere die Auflösung nicht müsste dass man trägt hochrechnen wie gab deutlich größere speichern den Speicherbedarf nun allerdings habe ich dadurch welche wie ich die Lösung gesetzt hat eine schlechtere Performance weil ich natürlich dann in die USA aber in der es muss dann und das Leid oder reproduzieren also
für die Umsetzung haben wir dann ausschließlich eine Open Software benutzt deswegen ist es auch hier relevant nicht nur das auch tun und zwar eines guten Gründen mehr als machen wir eigentlich ziemlich gute Dokumentation für alle die Projekte für die Open-Source-Programme und wir haben eine gute Community meistens beides mindestens oder genau und wir haben vor allem die USA Anpassungen an der Software gibt auch es nicht alle Anforderungen abgebildet hat die wir brauchen und da haben dann wäre es Supportvertrag mit Geo Solutions die der Entwickler sind und direkt unsere Fackel Portion Feature-Wünsche eingebaut einbauen konnten und das ist eigentlich eine ganze schöne Sache weil es die erwirkte durch öffentliche Gelder finanziert und dann finde ich das sehr gut dass wir dann sagen wir Tür stecken das nicht decken und heißen müsste man Geld in der Öffnung der erinnernden Open-Source-Projekt so dass alle wieder profitieren können in was wir zum Beispiel gemacht haben
waren aber da gab es gab Fehler der Datumsgrenze wurde gefixt Transparenz Fehler das sieht man oben rechts das ist eine Band der Daten und das andere überlagert hat weil die Daten mal richtig dick sind und das ist dann auch teilweise zu Darstellungsfehlern kam bei Kombination des Geldes es sieht auch nicht so gut aus oder alles gefixt dann Funktion gebraucht haben waren der in mit Musik mit hätte holen hetero gingen Koordinatensystemen war natürlich ganz wichtig wir uns entschieden haben eben nicht um zu projizieren und das ging voll in die Hose aber noch nicht mit Kubis rechtzeitig machen aber hier sehr wohl
Kunst und nicht jetzt anders wir haben zusätzliche Domänen Attribute eingebracht zum Beispiel für Brautpaar wollt Witterung was ist dann Alternative zum Sieg L Filter man kann jetzt seit der bis zu rund 2 13 auch wenn unterschiedlicher Auflösung in ein Kabel in ein Image Mosaike reinschreiben sie vorher nicht das das haben auch Gebrauch enthält 2 die unterschiedlichen Bändern Unterschied die Auflösung haben also in gibt wenn damit 10 Meter Auflösung wenn damit der 40 und mit 60 Meter Auflösung können zusätzlich im Film anderes Projekt des das von uns wo wir das des mehr zum Forschungsprojekt wurde auch für die USA aber Open Search EU gemacht das ist Prinzip prinzipiell das meine ich die Metadaten der Datenbank hält und in die USA aber dann eine Schnittstelle bietet lobenswert Schnittstelle wo man dann die Daten haben für sein kann und zusätzliche Hunko Service Link legen dass die ist und donnernder voneinander wissen dass meine Katalog trägt auf dem dem es und geht es um die selbst belegen kann so
für die Zukunft das wird jetzt läuft es an dass das wird entwickelt der eine dynamische Brand-Auswahl hat dass ich jetzt zum Beispiel auch die unterschiedliche Bänder also nicht nur RGB Rot verbinden kann sondern auch ein Falschfarbenbild bezeugen kann geht heute schon allerdings nicht dynamisch Zeißig muss für jede für jeden Ansicht muss sich ein eigenes 3 kreieren und das will ich eigentlich nicht machen das heute den Amish gehen das sollte fügte Ju Sarkozy entscheiden was haben will dann der
Arithmetik der Bänder ist immer da kann man in die wie ein herstellen hier ist seine ist also einfache Berechnungen zwischen Bändern heißt Infrarot Bahn minus oder Bank geteilt durch Strothmann plus Infrarot und das ist glaube ich korrigiert mich die falsche man kann auch noch nicht
machen wo und eine dynamische Skalierung oder gar Anpassung damit ich die Helligkeit in man lokale Gegebenheiten anpassen kann das ist zum Beispiel dem Beispiel wichtig weil es vielleicht den Gletscherseen aber das ist zu hell und das liegt natürlich daran dass ich eine globale im globalen denn es hat unter der nicht für alle Regionen in gut essen aber die Helligkeit unterschiedlich ist wenn ich jetzt in Wald hat das jetzt ist es er zu dunkel wenn ich wollten habe oder Gletscher ist hält und dann kann ich das zum Beispiel
so machen dann sehe ich das und das ganze soll als Variablen gegenüber dem dem es für festhalte übergeben werden so ganz kurz zur
Umsetzung will ich gar nicht so arg ins Detail gehen kann und somit werden mögen in Jazz Service der wo die Daten von Schenkel hat an auch ab und schiebt sie einerseits den Downloadservice in die Open Rätsel Frau in die Open Datenbank und in den Clustern ist das ist wie es Sinn macht und der schiebt die Datenbank dann in die USA weiter um die bloße Sehmaschine hat 32 Cores 48 Kilobyte am das Laufen wahrscheinlich jetzt in diesem Moment 30 parallele Prozesse und ich krieg aber kriegt maximal 15 Tausend Datensätze durch ist natürlich ein bisschen schwierig weil die welche haben haben sagt 10 Tausend Datensätze comma am Tag ein wenn dieser mal 2 Tage lang im nichts endet bei den Ausfall haben dann haben wir 20 Tausend Datensätze abzubauen aber ich kann nur 4 bis 5 Tausend Datensätzen Tag aber und das heißt es kann er mal zum Rückstau kommen hoffe ich im Moment nicht letzte Woche zum Beispiel was der Fall genau das wäre ein bisschen mehr das Detail ist funktioniert auch nur kurz die Daten kommen in der große Maschine Anwendern Lingyu geschrieben die wird abgebaut der schreibt in Sorge weil wir natürlich dann auch noch Sicherheitsvorschriften haben es dann natürlich Firewall drüber so dass sich da nicht viel von rechts nicht links schreiben kann deswegen muss ich das mit so Lock aber wissen muss von rechts war sie muss rechts quasi auch noch im
zweiten Lok halten ich kann nicht da sie nicht direkt vor der von der wir von der Post versehen Maschine auf die rechte Seite in den schreiben das sehr schön angeblich hoch so
dann kurz zur Umsetzung der Prozessierung ich ich mache mir nicht wie eine bitte Maske Außenband 2 weil einfach nur 1 2 bei Band 1 die niedrigere Auflösung hat um 1 2 10 Meter Auflösung ist beste Band ist dann stelle ich daraus eine aus einem Band das sich benutzen wir also X X das man für jeden also das des Banken stand für jedes er das und er macht und wie jedes Band ich schreibe mir eine Herr und VRT mit dem Band und der Maske kann dir das Ganze dann nach 8 Bit das sieht man dann SGL 0 10 Tausend weil die Werte maximal 10 Tausend haben also es gibt den maximalen der 10 Tausend sein und Herstellung und just mit schneller geht das Ganze bringe ich dann in die
USA ein das eigentliche bei uninteressant wie ich will dich in die USA war sagt wie die Bender heißen und zwar mache ich das Mittel das ist in der drittletzten Zeile eigentlich ganz rechts kann man sehen der weg Ex wird die 0 bis 9 0 bis 9 A und deren weißt du über diesen Weg Ex weist die USA aber die 1. liest aus mit einem außen weiß wie unsere okay dieses diese Datei ist das Band so und so und ich schreibe das dann quasi eine eigene Datenbank und dann kann er die einzelnen miteinander kombinieren im Hintergrund steht natürlich Proskes Datenbank als Index wenn auch noch 2 schöne Bilder
so links zur Seite Service vorher aus das einfach nur die 10. 2 Datensatz integrierten Krieg Loks die dieser produziert und rechts ist dann oder Solution wenn sieht den Unterschied denke ich
und auch einfachen und schönes Bild zu sehen da kann man auch schnell für eine Stunde lang mit verbringen und schöne Dinge sehen da mich zugefrorenen Seen höchsten Dünen und so weiter aber wenn man mit Google essen kann man das natürlich auch allerdings hat sie ja den Vorteil dass ich da von einer x-beliebigen Zeit angucken also ich kann das von wir heute oder von vorne Jahr oder von vorne Woche angucken hat natürlich den Nachteil dass ich ulken ab verzicht auf
wolkenfreien recht so dann die letzte Folie aber das würde aktuelle Status Code des vom Ort wir haben die Katalogsuche
integriert den Downloadservice und auch den Processing Plattform hat das dann schon jetzt als erzielt und wir haben eine der Lower Solution dem erst seit 2016 versengte 1 und 2 frühe Solution dem es versendet 2 seit November 2017 und aktuell sind da in diesen Pole Solution im S 8 900 Tausend Datensätze schon verarbeitet das ganz ist natürlich in zweier validiert und geplant ist es enthält das Konzert heißt es eigentlich schon in mehr oder weniger fertig die Workflow Umsetzung noch nicht 100 Prozent und da muss noch eingebaut werden nächsten Monat sind wir 5
P und dann Reza Daten werden auch im Sommer 2018 eingebunden auch in voller Auflösung auf sind für 3 in voller Auflösung dennoch was ist danke für Aufmerksamkeit
die sagt danke für diesen spannenden
Erfahrungsbericht jetzt haben wir Zeit zu fragen Bescheid ja dank der Vortrag ich habe nur Detailfrage es wird gesagt Proskes Datenbank und die Rasterdaten ist es dann so also ich wird jetzt mal denken die der Rasterdaten liegen wahrscheinlich als Dateien der und die Brust des Datenbank bauen Box ist für die Behörden die Darsteller gefunden werden kann ist das so genau das ist so sorgen genauso wie ich sie nicht denn so zufügen dass es also die Post dann wenn es so sehr nur der Index für die Daten im Fall System allerdings zusätzlich habe ich dort die ist will aber ist innen in dem ProstG ist in der Post ist Tabelle nur wie die der rechteckige war die braunen Boxer im drin und was ich aber eigentlich auch noch auch ist die echte Welt Datenbox nur da wo die Daten drin sind und das ist für mich an den Rändern eben nicht immer die braunen Ost und das habe ich ja auch mit der bitte der bitte Maske realisiert und zusätzlich reicht die auch in die hier genau in der
Mitte Maske ist im Prinzip dann die Information auch vorhanden wo nicht Daten und Ukraine und will das trage ich aber auch in die
Datenbank zusätzlich ein noch Vektordaten anzeigen zu außen und das ist mit dem wenn es eigentlich zu deren oben noch eine Frage Abend immer zurück zu der Frühnebel geht dabei die Aufrufe hat ist er wenn man sowieso Checkheft ausmacht Lotus sichten Farb- und zu ändern vorher wieder die beträgt 2 bis 3 kleiner können die Bilder der anderen und warum nimmst will das geht nur wenn ich an meine 3 oder 4 Kanäle aber ergibt erledigt aber nur geht und wenn ich die Wände aber einzeln haben wir weil weil ich sie will sie ja einen der einzeln kombinierbar machen in die so war habe ich die alle 1 als Einzeldateien vorliegenden geht's nicht in Zeit für eine Frage hätten noch falls eine da ist scheint nicht so zu sein wie viel Dank und Vollbart
Umsetzung <Informatik>
Momentenproblem
Datenbank
Berechnung
Formation <Mathematik>
Speicherbedarf
Metadaten
Index
Web Services
Datumsgrenze
Unified Threat Management
Code
Downloading
RAM
Processing <Programmiersprache>
Meter
Durchfluss
Speicherbedarf
Kanal <Bildverarbeitung>
Schnittstelle
Paralleler Prozess
Web Services
App <Programm>
Constraint <Künstliche Intelligenz>
Datumsgrenze
Tabelle
Rand
Zeitzone
Index
ICON
Software
Dienst <Informatik>
Rohdaten
Verknüpfungsglied
Chatten <Kommunikation>
Anpassung <Mathematik>
Anwendungssoftware
Internetdienst
Downloading
Information
p-Block
Simulation
World Wide Web
Standardabweichung
Geschwindigkeit
Mathematische Größe
Schnittstelle
Formation <Mathematik>
Processing <Programmiersprache>
Datenbank
Server
Darstellung <Mathematik>
Datei
Verbiegung
Google
Firewall
Arithmetik
Systemplattform
Code
Linie
Open Source
Mittelungsverfahren
Datensatz
Domain-Name
Variable
Software
LOTUS <Marke>
Softwareentwickler
Attributierte Grammatik
Streuungsdiagramm
Filter <Informatik>
Systemplattform
Umsetzung <Informatik>
Binder <Informatik>
Datensatz
Lösung <Mathematik>
Vektor <Datentyp>
Firewall
Speicherabzug
Klumpenstichprobe
Unified Threat Management
Streuungsdiagramm

Metadaten

Formale Metadaten

Titel Bereitstellung eines Web Services von globalen, kontinuierlich einfließenden Satellitendaten hoher Auflösung am Beispiel von Sentinel-2
Untertitel Ein Erfahrungsbericht
Serientitel FOSSGIS Konferenz 2018: Bonn, 21. - 24. März 2018
Anzahl der Teile 95
Autor Volkmann, Rouven
Lizenz CC-Namensnennung 3.0 Unported:
Sie dürfen das Werk bzw. den Inhalt zu jedem legalen Zweck nutzen, verändern und in unveränderter oder veränderter Form vervielfältigen, verbreiten und öffentlich zugänglich machen, sofern Sie den Namen des Autors/Rechteinhabers in der von ihm festgelegten Weise nennen.
DOI 10.5446/36208
Herausgeber Chaos Computer Club e.V.
Erscheinungsjahr 2018
Sprache Deutsch

Inhaltliche Metadaten

Fachgebiet Informatik
Abstract Täglich werden mehr als 7000 Sentinel-2 L1C Produkte mit jeweils rund 500 Megabyte aufgenommen. Anders ausgedrückt: 1,2 Petabytes Daten pro Jahr. Ich habe die Aufgabe einen Full Resolution Web Service dieser Daten im Netz zur Verfügung zu stellen und dauerhaft aktuell zu halten. Dabei sind die Anforderungen an den Service eine hohe Datenqualität, gute Performanz und einegeringer Speicherbedarf. Dieser Vortrag ist ein Erfahrungsbericht der ausschließlich mit OpenSource Tools bewerkstelligten Umsetzung.
Schlagwörter Freie Daten

Zugehöriges Material

Folgende Ressource ist Begleitmaterial zum Video
Video wird in der folgenden Ressource zitiert

Ähnliche Filme

Loading...
Feedback