Merken

The real Big Data – Potentiale eines satellitenbildgestützten Temperaturdatenarchivs

Zitierlink des Filmsegments
Embed Code

Automatisierte Medienanalyse

Beta
Erkannte Entitäten
Sprachtranskript
es geht um Jahrzehnte Mehr wirkt älter ist weiß ich nicht aber sehr vielfältige der euch ja schon hier eingebracht hat das seit mal funktioniert wie dies eigentlich vorzustellen wie man wirklich mit dem wirklich dicken Datensatz eigentlich umgeht König mit mit freier Software und dann so ein bisschen sein Ausblick zu liefern was man mit den Daten für Kinder auch machen können das wäre natürlich auch super wenn wir nach dem Vortrag der ein oder andere die Hand hebt und sagt er vor Kohl könnte man nicht auch vielleicht dies oder jenes damit noch machen sind da selber noch ein bisschen in der in der Findungsphase
vielleicht ganz kurz die Erklärung die alles habe gegründet vor 2 Jahren im Mai 12 15 Dezembertreffen der Markus da dazu gekommen und wir hatten vorher schon die Idee und zum Big Data und Fernerkundung und Sachen auseinanderzusetzen mit Markus kann man auch die Kompetenz darein das hatten wir so bei uns nicht aktuell 7 7 auch hier noch nochmal der Aufruf haben Stellenausschreibung draußen also wenn jemand Lust hat solche Sachen zu machen kann ich gerne ansprechen Bundeszentrale tolle Stadt Dunkmann schöne Sachen ja Agenda ganz
kurz worum geht es heute dann hab ich bin wir das mal ausgerechnet auf die Pixel die wir da wälzen das ist ne schöne Zeit und dann die Frage zu beantworten wie verarbeitet man eigentlich solche Datenmengen in Bezug auf Infrastruktur Software und natürlich auch mal die Verarbeitung Schritte darzustellen und dann am Ende auf dem Anwendungsfelder überzugehen ganz platt gesagt worum gehts
es geht eigentlich darum die Daten die auf der linken Seite sehen das ist Satelliten Rohdaten Szene mit Wolkenlücken und das Haus auf der rechten Seite sehen zu überführen durchgehen statistische Ämter oder tionsmethoden im Grunde genommen haben wir sendet der Satellit nur da
Daten wo keine Wolken sind und die wollen wir auch
Film und uns ein bisschen mehr die Dimension (klammer auf zu zeigen dass man es bauen wir ja so sagen ein Raumzeit Datenarchiv auf das geht zurück auf dem sollte jeden Sensor das ist dem so gleich extrapoliert zu seit 15 Jahren da also der die Symbole sind es auch 2 Satelliten aufgebaut und jeder Satellit sendet 2 1 Tages meine Nacht wird das seit 15 Jahren und wir rechnen das runter auf Auflösung von 250 Metern da kann man sich schon mal vorstellen dass das ne ganze Menge Daten sind und dort zum sendet der noch immer das heißt es geht um das Archiv aber eben auch darum dass alles was jetzt runterkommt permanent weiter fortgeschrieben wird dieser
Mode ist man bereit mit seelischen inmitten Sensor ist ein Sensor im gesagt auf 2 Nasa Satelliten das schöne daran ist das sinnfreie Daten sind kann ich mir imponieren unterziehen jetzt gerade gesagt immer Tag und Nachttemperatur wird von 2 Satelliten zum 4. Datensätze pro Tag bezogen auf die ganze Landoberfläche das allein ist schon relativ viel und das Problem wie eben schon angesprochen sind letzten Endes die Wolkenlücken und wir wollen aber komplette Datensätze daraus machen wir
mal einfach 7 von von Mitteleuropa und den kleinen Ausschnitt einfach mal auf gezeigt man sowas Müller und sie das kennt man sich als Temperaturkarte das ist schön aber relativ nutzlos und und bei dem aus schön sieht man halt wirklich was man nicht eine hohe Auflösung eigentlich eine Genauigkeit erreichen kann ich kann natürlich noch wesentlich weiter einsam an der Stelle zum auf die Datensätze zu
kommen das gesagt 15 Jahre ganz genau besprochen es wahrscheinlich sogar von bis zu Mehr und 60 Tage 4 Daten das heißt wir reden von 21 Tausend 900 Datensätze die seit dem existieren dass meine Rechnung am Beispiel der Bundesrepublik mit einer Fläche von 3 und 7 50 Tausend x Quadratkilometern da komme ich auf eine Zahl von 5 , 7 Millionen Pixel gut Datensatz war ist welches sich relativ er alle ein simpel ich muss und die Fläche nehmen und dann muss ich gucken wie viel Pixel hab ich bei 52 Meter Auflösung in Quadratkilometern komm ich diese Zeit nicht nur auf die ein 20 Tausend 900 Datensätze rechnen komme ich auf dem gesamten Pixelanzahl nur für Deutschland die Bilderwelten von 125 Milliarden gerettet schon paar Pixel und wenn ich das mal weltweit hoch interpolieren dann haben rechtlich 107 40 Millionen Quadratkilometer mal diese 16 Pixel pro Quadratkilometer Malin 1 20 Tausend 900 ansetzen kann ich bei 51 Billionen 1 1 X erzählen raus die wir da essen das ist eine Zahl die ist mir noch nicht aufgegeben und sich wirklich spannend fand denn gegenüber man dass man
weit in Terabyte austritt es ist das gar nicht so viel eigentlich also und der 1. die tolle Zahl und jetzt sagt man hat nicht mal denn in belegten Speicherplatz letzten Endes
unter Rechner beschließt das jetzt nicht alles und Detail ab aber bei der Welt habe ich beim 286 einzelne teils die Dinge die mir sendet hab etwa 307 50 g weit Rohdaten und im Finale Produkt sah man natürlich auch erst hochgerechnet gerecht wenn man nur Zentraleuropa die Welt kommt später dran landen irgendwann mal bei 7 50 Terabyte das ist doch relativ überschaubar bemessen trat auch eine Zeile nicht da eben gemeldet hat gute Nachricht keine
Rechenzentrum mehr wir haben wenn wir diese Datenmengen verarbeiten wir haben ohne genommen und Finn 2 Server Cluster entschieden die jeweils 8 Kerne haben 32 GB RAM also das ist von der rechten Power her dann doch relativ überschaubar muss immer so'n bisschen abwägen und ich kann natürlich auch ein zu übernehmen aber die Begrenzung nicht einmal bei der Input-Output Kapazität insofern haben uns dann auf diese 2 Server Cluster entschieden haben davor den Top Manager gesetzten so pflegt mit entschieden im Grunde genommen jeden Datensatz als ein Top betrachtet und werden dadurch Jagd und wenn ich das jetzt mein Zeit Ausdrücke und wird jeder Job das sind jetzt die Zahlen für Mitteleuropa diese 4 teils Rausch für einen Job von diesen 4 teils auf eine CPU berechnet etwa 9 Minuten das ausrechnen
wer nicht das auf eine Kiste mit einer CPU rächen würden welche 110 Tage anrechnen dass es dann wieder um viel da das Wasser parallelisieren können auf verschiedene Kurs verteilen können nannten wir für Mitteleuropa etwa bei 200 Stunden das so tollen Tage zu umgehen drängen 8 9 Tage ist die Idealvorstellung da geht natürlich ein bisschen was verloren und seine 2 Wochen und hat man den Datensatz für Mitteleuropa Stelle ich gerechnet so Setup aber und ist ist relativ simpel wir
importieren diese Daten zum HDR-Format mit wurde oder oder GAL nicht gestern auch gehört hat nach Graz und berechnen das eigentlich mit Gras 7 2 Standard-Module was wir da genau tun die ich jetzt gleich in ORF 1 und wegen die im Grunde genommen erstmals geht es ab verwalten die aber einer Datenbank mit diesem Tag was das Tempel für von Grass GIS vereinfacht ich kann aber auch
dass mein Häppchen will servieren es glaub ich besser also das ist das Bild vom anfangs in gesehen haben dass der visualisierte oder Ansatz und irgendwann 19. Juli 2011 um einen Satelliten Überflug mussten schon ganz tolle Sommer gewesen sein dem relativ viele Wolken und der 1. Schritt ist im Prinzip eine Art
Daten Verdichtung einfach geguckt wird zeitlich auch gewichteten Woche vor Wochen zurück denn an den Stellen wo keine Daten haben damit der Daten und verdichtet sich das schon mal an der Stelle und
dazwischen wird dann im Grunde genommen eine Art raum-zeitlicher Interpolation kommen noch verschiedene Faktoren rein die das natürlich mit sendet also es werden urbane Gebiete und Gewässer werden gesondert betrachtet die Höhe spielt eine Rolle wird das im Grunde genommen interpoliert und ich haben Datensatz sieht toll aus aber ich mag es auch gesagt das das Bild schön bunt ist voll die Frage ist natürlich stimmt das was wir da haben und dann
das ist eigentlich ganz schön hier zu sehen das ist im Grunde genommen eine Gegenüberstellung von dem wahllos gewählten interpolierten .punkt der genau da liegt ohne Mess-Stationen ist vielleicht kurze in Station hab ich keine Folie zum in Deutschland zu etwa 8. 900 Temperatur Stationen und alles was jetzt in Türkei Dietrich aktuell wird dazwischen interpoliert und da habe ich natürlich mit den Satellitendaten wesentlich höhere Bildung dichter man muss ein bisschen warten die Station ist ein 2 Meter höher der Satellit misst die Bodentemperatur das kann man nicht direkt vergleichen aber wenn man sich trennt kann man guckt mit der blauen gestrichelten der roten Linien dann sieht man doch dass das relativ wir Erfolge eigentlich hat also relativ gut gut passt und wenn man dies dann auch mittels und das ist im Prinzip diese blaurote liegen in der Mitte und sieht man dass eigentlich fast hundertprozentige Übereinstimmung zwischen den von uns interpolierten Werten haben mit denen tatsächlich eine Station gemessen mit eben dem Unterschied seines Bodens anders werden das hat sich jetzt ein .punkt ist man natürlich für mehrere .punkt um da zu gucken aber es zeigt eigentlich so ganz verkehrt ist das eigentlich Rettung
vor gut da bin ich auch schon in um bei den Anwendungsfällen und so überlegt haben was man eigentlich relativ gut rauskriegen kann über solche Datensätze sind städtische Hitzeinseln als man denkt an früher ist auch schön und warm ist aber das kann tatsächlich auch in der Luruper Problematik ist und man es Phänomen sein einfach Lebensqualität beeinträchtigt wird gesundheitliche Folgen weil ich denke dass gerade in den Entwicklungsländern mit zunehmender Verstädterung das Problem deutlich verschärft ist und
ich hab das hier meiner Grafik damit es mir gegenüber gestellt das ist mein Land der Stadt Mailand auf der linken Seite diese 8 Pixel über das sehen das ist der Datensatz im einen Moment von der ETA die dass es eine europäische claimed mit 1. zwischen der hat bekommen die von 20 wieder auflösen und rechts wären das dann kommt diese interpolierten Daten von uns kann man schön sehen eine gute Auflösung hab ich eine wesentlich höhere Aussagekraft und sowas zu
detektieren anders werden Phänomen auch da hatten wir letztes Jahre lange Diskussion es dann leider kein Projekt draus geworden Verbreitungsgebiete von Krankheitserregern setzt hier ging es um die und die Tigermücke dicht abgebildet hat das Landesamt und grauen Rock und auf bis die Ausbreitung solcher schädlichen ziemlich an die Temperatur gekoppelt beziehungsweise auftauchen die Ausbreitung der Verzierung gehen direkt an der und der Temperatur und auch da
habe ich nun ein Beispiel aus Datensätzen 2003 sehr sehr heiß es ja das sieht man oben in der Mitte ist der ist der Gardasee unten im Grünen kann man das ein bisschen besser betrachten was ich mir solche Daten tatsächlich dann aus wenn man ihn sieht der ist ja im Winter noch wenig wärmer gewesen das heißt dass es offensichtlich schon cool und sich bestimmte Schädlinge tatsächlich eine Chance haben auch zu überwintern solche sicher sagen oder Prognosen kann man natürlich auch solchen Daten ein ableiten
jetzt ist noch eine andere Grafik und da ich da auch wieder diese europäische Datensatz Unternehmen und so war man sich letzten Endes höhere Auflösung mehr Daten was muss eigentlich besser sein das man hat glauben Sie was uns
beiden interessiert es natürlich nach weniger Landwirtschaft als vielleicht mehr der Weinbau auch das da gabs auch tatsächlich schon Projekte im Vorfeld von Markus früher gearbeitet hat kann natürlich über solche Zeitreihenanalyse auch sehr lokal tatsächlich Temperatur Trends ausarbeiten und ich kann über einen Felsen nämlich lokal und was die damals gemacht haben die haben tatsächlich Baugenossenschaften in in Italien beraten in Bezug auf Rebsorten anbauen einfach zu gucken ich denke das gilt auch für Obstbau als alles was ein bisschen langfristig angebaut wird ich als selbsternannter Weinexperten zeitig einschränken dass man nicht immer die freie Wahl hat was man anbaut sondern ich jetzt nach Frankreich oder Spanien gucken sind hat der Region sowie Wetter aber festgelegt da hilft es auch nicht .punkt da nichts aber auch in der Richtung sehen wir durchaus auch Anwendungs fällt auch in Hamburg eine und auch
.punkt wo ich auch ernste zufällig drauf gestoßen werden als Anwendungsfeld langlebige Infrastruktur so ist offensichtlich so dass Zeit Beläge auch wie lange die halten und welche Eigenschaften an dass er in eine bunte Porto geknüpft ist haben wir natürlich mit unseren Daten den Vorteil dass wir tatsächlich an die Bodentemperatur haben und nicht die und 2 Meter höher und da kann ich mir auch gut vorstellen dass man gerade mit der Auflösung entlang von seiner überregionalen Straßen was den Planungsprozess angeht eigentlich sehr gute und drüber treffen kann das
was mich dann schon und n ja
danke
er Mehr dankte wird und es am gibt es Fragen er dort hallo will der hat so soll Freundes Schaubild gezeigt wo man diesen Temperatur Trend gesehen hatte den Vergleich hast du da auch Vergleich welches 1. von dieser roten Linie
dann interpoliert er da einer Auswertung der war so viel wie der Unterschied ist zwischen will der interpolierten und dem er tatsächlich gemessenen das und das ist das werden wollen also oben soll die Legende dass das Rote ist das interpolierte und das Blaue ist die wirklich gemessen man aber da gab es ja dann wenn wir in der mit der roten Linie gibt es oder welche die eben von direkt vom Satelliten kommt als Datensatz welche die hinter Wolken nämlich das ist tatsächlich so also das ist ja sowieso sie ist von Februar bis meiden ja und ich hat jetzt ehrlich gesagt da oben und trennte war das also ganz davon aus in das Tal interpolierte Daten sind allgemein welche Punkte der herzustellen ja das der sich eine interessante weiterhin mit wurde er es ist so weicht der nächste der sonst noch
fragen oder einen Schaden von großen Datenmengen nicht ja ich wollte mal fragen ob sie in der Möglichkeit der Rhein Interpolation auch noch Verfahren ebenso aus dem Bereich Wettervorhersage also dass man auch den Anlagen kann und gehen dort aber ist halt in die haben auch oder Bodenfeuchtigkeit wurden Temperaturen und sowas das man daraus was ableiten kann also temperatures natürlichen ziemlich treibender Faktor dar was ich sag mir Richtung Bodenfeuchte und ähnliche Dinge geht wir haben uns eigentlich ein bisschen das Ziel gesetzt und er von der Temperatur auseinanderzusetzen und das dann eben in weiteren Schritten auch auszuweiten auf auf andere Datensätze dass wir so dass eine was wir aktuell auch diskutieren tatsächlich überlegen ist dass die die Daten des Deutschen Wetterdienstes die aktuellen Messungen der Sage Daten sind jetzt Open Data das wäre natürlich spannend da einfach mal zu gucken wo worin nicht die übereinander ich glaube insgesamt hat das Schlimme ist wenn wir darüber diskutieren was wir alles machen können dann ende das immer in einem ja ja ja und das und das und das und das und ich bin eigentlich Freund von sich erst auf die eine Sache so bisschen zu fokussieren wird aber das Potenzial das oder nicht das ist glaub nicht gigantisch und da möchte sie auch noch Themen für die nächsten Jahre die nächsten Frost Chris Veranstaltungen haben hab ich noch nie Probleme es in werdet ihr vielleicht der Zukunft andere Sensoren zusätzlich auswerten dann also andere Sensoren an sich haben aktuell nicht in der Planung schien ein bisschen auf 10. der 3 die auf Sensor hat der allerdings auch eine ganz andere Auflösung hat ist ich weiß nicht genau ist schlechter auf jeden Fall das machen wird tatsächlich wir sind ja unter uns das ist er politisch motiviert weil die Datenqualität von Mohl ist ein schon sehr gut in die Abdeckung mit 4 Datensätzen pro Tag es eigentlich auch sehr gut erschien sein bisschen einrichtungsinterne weil da einfach gerade auch 4 möglich wird wenn mit den Daten was tust das ist wo er die Focus Moment um sehen
Datensatz
MARKUS <Unternehmensspiel>
Software
Vorlesung/Konferenz
Computeranimation
Open Source
Software
GRASS <Programm>
Pixel
Software
Detektion
Supercomputer
Computeranimation
Fortschreibung
Satellitensystem
Rohdaten
MODIS
Permanente
Vervollständigung <Mathematik>
Computeranimation
Fortschreibung
Satellitensystem
Datensatz
Ende <Graphentheorie>
Menge
Meter
MODIS
Permanente
Computeranimation
Datensatz
Fläche
Blu-Ray-Disc
Datensatz
Pixel
Meter
Fläche
Pixel
Zahl
Computeranimation
Rohdaten
Rechenbuch
Ende <Graphentheorie>
Rohdaten
Fünf
Zahl
Computeranimation
Rechenzentrum
Server
Rechenzeit
Parallelisierung
Supercomputer
Zahl
Computeranimation
Ausdruck <Logik>
Datensatz
Rechenzentrum
Befehlsprozessor
Software
Datensatz
POWER <Computerarchitektur>
RAM
Server
Durchfluss
RAM
Befehlsprozessor
Kerndarstellung
Datenbank
GRASS <Programm>
Rohdaten
Datenbank
Interpolation
Variable
Berechnung
Computeranimation
Satellitensystem
MODIS
Datenkompression
Computeranimation
MUSE <Lernprogramm>
Faktorisierung
Punkt
MILS <Programm>
Arbeitsplatzcomputer
Raum-Zeit
Computeranimation
Datensatz
Datensatz
Interpolation
Höhe
Arbeitsplatzcomputer
Höhe
Meter
Interpolation
Gebiet <Mathematik>
Fläche
Folge <Mathematik>
Radiale Basisfunktion
Pixel
Momentenproblem
Datei
Detektion
Computeranimation
Datensatz
Entwurfsautomation
Zoom
Internationalisierung <Programmierung>
Laufzeitsystem
Prognostik
Datensatz
Länge
Computeranimation
Datensatz
Entwurfsautomation
Zeitreihenanalyse
Ende <Graphentheorie>
Anwendungssoftware
Höhe
Zeitreihenanalyse
Detektion
Computeranimation
Richtung
Langlebigkeit
Höhe
Meter
Computeranimation
MARKUS <Unternehmensspiel>
Besprechung/Interview
HTTP
E-Mail
Linie
Satellitensystem
Faktorisierung
Datensatz
Informationsqualität
Interpolation
Momentenproblem
Höhe
Besprechung/Interview
Arbeitsplatzcomputer
Messprozess
Computeranimation
Richtung
Linie
Inferenz <Künstliche Intelligenz>

Metadaten

Formale Metadaten

Titel The real Big Data – Potentiale eines satellitenbildgestützten Temperaturdatenarchivs
Serientitel FOSSGIS-Konferenz 2017: Passau 22. - 25. März 2017
Autor Adams, Till
Lizenz CC-Namensnennung 3.0 Deutschland:
Sie dürfen das Werk bzw. den Inhalt zu jedem legalen Zweck nutzen, verändern und in unveränderter oder veränderter Form vervielfältigen, verbreiten und öffentlich zugänglich machen, sofern Sie den Namen des Autors/Rechteinhabers in der von ihm festgelegten Weise nennen.
DOI 10.5446/30500
Herausgeber CCC VOC
FOSSGIS e.V.
Erscheinungsjahr 2017
Sprache Deutsch

Inhaltliche Metadaten

Fachgebiet Informatik
Abstract Im Rahmen eines Forschungs- und Entwicklungsprojektes bauen wir (Mundialis) ein 15 Jahre zurückreichendes Temperaturdatenarchiv für ganz Europa, das auf Satellitendaten basiert, auf. Das Archiv beinhaltet vier Temperaturschritte pro Tag und hat eine räumliche Auflösung von einem Kilometer und ist damit genauer und besser, als jegliche, auf Interpolation von wenigen Klimastationen basierenden interpolierte Datensätze. Der Vortrag konzentriert sich auf zwei Hauptaspekte: - Verarbeitung von Fernerkundungsdaten im Terabyte-Bereich mit High-Performance-Computing mit GRASS GIS - Potentielle Anwendungsfelder der aus diesem Archiv generierten Information
Schlagwörter Freie Software

Zugehöriges Material

Ähnliche Filme

Loading...