Big Spatial(!) Data Processing mit GeoMesa

Video in TIB AV-Portal: Big Spatial(!) Data Processing mit GeoMesa

26 views

Formal Metadata

Title
Big Spatial(!) Data Processing mit GeoMesa
Title of Series
Author
Graser, Anita
License
CC Attribution 3.0 Germany:
You are free to use, adapt and copy, distribute and transmit the work or content in adapted or unchanged form for any legal purpose as long as the work is attributed to the author in the manner specified by the author or licensor.
Identifiers
Publisher
FOSSGIS e.V.
Release Date
2019
Language
German

Content Metadata

Subject Area
Loading...
TOUR <Programm> Processing <Programmiersprache> Data model Algorithm Scientific modelling Multitier architecture Berechnung Database Tuning Physical quantity Row (database) Hypothesis
Scientific modelling Calculation Arithmetic logic unit Provider Hypothesis
SPARK <Programmiersprache> Server (computing) Code Server (computing) Structural load Durchschnitt <Mengenlehre> Direction (geometry) EULER <Compiler> Multitier architecture Database Function (mathematics) Physical quantity Table (information) Hausdorff space Field extension Index Calculation PostgreSQL Website
Field extension Federal Department for Media Harmful to Young Persons Index Tower Index
Geometry Processing <Programmiersprache> Polygon SPARK <Programmiersprache> make Server (computing) Direction (geometry) Polygon Database Parameter (computer programming) Physical quantity Position Zugriff XML Index ACCESS <Programm> Gcc <Compiler> SQL Species Linie Game theory Buffer overflow
Geometry Bus (computing) Demo (music) Multitier architecture Time travel Parameter (computer programming) ACID Function (mathematics) Parameter (computer programming) Counting Process (computing) XML Apple <Marke> String (computer science) Distributed computing Router (computing) Online chat Row (database)
Force Content (media) Service (economics) Zugriff GeoServer Server (computing) Open source Parameter (computer programming) Database Parameter (computer programming) Time domain
Software developer Multitier architecture Function (mathematics) Sphere
Laptop Apache <Programm> Application service provider Version <Informatik> Calculation Version <Informatik>
Processing <Programmiersprache> Component-based software engineering Social class Route of administration Outlook Local ring
und jetzt noch der nach dem PostGIS Vortrag der Datenbank die jeder kennt die Datenbank die wahrscheinlich nicht jeder kennt erhalt Jungleser dann immer kurz und Anzeichen mehr bieten wir schon von Tieren gehört hat vorher 7 9. wär das schon ausprobiert wirklich niemand okay es ist sehr wohl immer natürlich zu machen also machen wir das überhaupt angefangen warum sind wir nicht bei Post geblieben aber wir machen bei uns im Fachbereich sehr viel Bewegungsdaten Analyse das heißt da kommen Bewegungsdaten 3 welche Daten rein dann explodieren wir die Taten wir bilden Hypothesen Ausmaß den Daten alles ablesen könnte mir überlegen welche Modelle mit den Daten drin ihren könnte und dann wird dann eben so iterativen diesen Modellen gearbeitet das heißt man muss sehr sehr oft doch teilweise sehr sehr große Datensätze Tour relativ komplexe Berechnungen damit machen wir haben es mit einer gewissen Anzahl 100 Millionen weg Weckreiz auch sehr aber fröhlich auf einem großen Pias damit eine Vosges Datenbank drauf gerechnet aber irgendwann bei mir jedes Mal wieder auf die Berechnungen warten muss zwischendurch sind Kaffee aus sondern wird vielleicht danach gehen kann und schlafen und am nächsten Tag ist der geben es ist sie dann wird das einfach aber irgendwann zu
machen und deswegen haben wir uns überlegt welche eben so Sachen haben wie haben aber Milliarden kurz zum Beispiel von Tag Daten okay das geht dank die haben wir jetzt Projekte wo's um Bewegungen von schiefen geht da hat bitten potenziell bis zu 500 Millionen Weckert pro Tag über viele Jahre hinweg das hat aber doch Modelle drängen möchte mit dabei ja und Daten also es den Milliarden auf jeden Fall weil mal angekommen und Mobilfunk Daten verarbeitet haben 1. dort schon den Milliarden also da gibt es so richtig schnell da in die aber indizieren Arbeit auf jeden Fall das heißt man
wird bald mal wird wird sehr sehr alt dabei wenn wir das auf einem Rechner versucht war zu erledigen und mit der Forschung geht dann mit einem mal wirklich viel weiter mit dem Ausprobieren von verschiedenen Hypothesen dass
er sich mal über was kann statt nehmen das ist auch so offen und frei verfügbar Miltos und dies hoffentlich auch genau zumindest schon mal diese solider als der durchschnittliche Forschungsgruppen Code immer in Wolf-Dieter findet und die Suche hat mir dann relativ schnell dann zur Eclipse Foundation gebracht immer Wasser die bekannt die in diesem Rahmen ist und vor allem wirklich entdeckt als Teil der Eclipse Foundation den wirklichen zeigt 1. Art Schwestergesellschaft ist hier an dieser hat die sie aber anders aufgestellt die haben an dem wirklich Personal die Sahne extrem aber vorsichtig mit der Lizenz Geschichten und alle möglichen und Design erst und Nordamerika zu Hause aber von den Firmen das heißt unter anderem KMail Satire über 11 ist es dann hat das auch in die er so im nordamerikanischen Raum entstanden sind und dementsprechend wie in diesen Raum sieht gibt es relativ wenigen Zeilen Europa bisher von dem mir aber auf dass das verhindern dann wird in der Zukunft das alle diese 3 Tools Zivilisation Wildtiere Cellist die den Eule in die Richtung der wollen große Datenmengen verarbeiten Tieren ist kommt er aus der wächst Datenwelt KMail Fundtiere Cellist kommen erst Star was Tabellen aber mittlerweile versuchen weil er beides zu unterstützen was es Tieren ist jetzt die kurze Antwort und die die früher auf der Website standen ist es das Ziel und mehr war das gleich ich für den der das der sich A Cool und nennt das gleiche sein möchte wird Vosges für Post grenzt das heißt auch die räumliche Erweiterung der städtebaulichen Funktionen zur Verfügung und den räumlichen Index auf den Daten das was die Zielsetzung mittlerweile in gilt das nicht mehr nur sehr Cumulus und dafür ganz an viele andere besteht dass das und der Definition ist die er auf das was ist denn macht als es noch das aber tut er das Tool für das Spielen von Daten durch welche also der Sistierung von Daten zum Menschen von Daten und zur Analyse von diesen großen räumlichen und zeitlichen Datenmengen das heißt man kann ganz einfach die jeweils bis zu der aber als speichern und vor allem kann man sehr schnell schreiben und lesen wenn was eben verteilt auf mehrere Rechner gleichzeitig macht das heißt man kann sehr viele Daten importieren wir nennen das in schätzten was und das wird anders sein muss das heißt und ist wesentlich schneller beim Schreiben von irgendwelchen Ergebnissen als was es sein könnte wenn man einen Cyberwar arbeitet und es ist sehr leicht das ganze wird sobald skalieren darstellt im in der Theorie einfach nur Anwärter den Server in seine Cluster dazu sagt Verwaltungstool ich hatte jetzt einen neuen selber dazu gegeben und das fängt an die Last zu verteilen sowohl vom sprechen als auch der wirklich von der Verarbeitung der Daten und somit Jungleser machen kann dass man kann die Analysen über BAG laufen lassen je nachdem ob sie schon mal mit in diversen bedeckter Vorträge waren zwar gesagt die Sprache die man verwendet wenn man verteilt er rechnen möchte pf was ziemlich cool so dass ein weiteres Argument war für mich in der ganzen dann doch einmal Chance zu geben es das ist sehr kurz dem er eine Unterstützung von den und dies ist anders das heißt im Gegensatz zu anderen Leibe ist die halt ihren der Computer Sciences Team auf wenn dann ohne zusammenhängt die möglicherweise noch Performance sind aber die haben wir nie was von dies führt das ist dann der Daten irgendwo wahrscheinlich super effizient ob Streichert kann aber nie anschauen mit dem Design der drauf zugreifen kann und das haben die halt gelöst weil die man kann zum Beispiel die Daten den der Tiere sagt Sprecher sind überaus Tyus wir publizieren und dann ist es halt es wären es oder Thomas WDR fest und erkannte das einfach in Kubis oder sonst den wir anschauen es wär so ist das auch Vosges Datenbank wir am Ende und das ist schon ein großes Argument
denken dass der Staat im Großen und Ganzen so was man dort unten den hat ob er frei ist das schaut dass die Daten verteilt abgelegt sein Rede und Ant das heißt man als Jahr aus 10. Daten auch heute auch noch woanders Comodo ist eine Möglichkeit für die nur SQL-Datenbank und John ist Eisik sagte weil Einheit drauf das heißt Junge ist
es die räumliche Erweiterung und man muss weil alle diese CDs Towers wir kun oder sprächen die Daten sortiert und die sorgen dafür dass der Daten sortiert vorliegen damit superschnell darauf zugreifen können jetzt aber selber räumliche Daten das Problem die muss man eigentlich sortieren an und deswegen haben sie das ich da diverse Indizierungen aber überlegt
und es ist keine Arbeit Shwe oder sonstigen da räumliche Index des mehr wahrscheinlich gut kennt
sondern sie müssen Sie machen das SPS heraus da gibt es verschiedene Arten davon aber im Prinzip muss man eine Linie durch den Raum bewegen entlang der da man die Daten dann sortieren kann also nur noch einen n-dimensionalen Index für räumliche Daten das kann jetzt 2. so den Beispielen aber es kann aber auch 3 sein das heißt da zum Beispiel die Vielberth für es gibt es gibt auch in 3 D und mit Ziele dieser Position entlang der Kurse kann man dann schnell drauf zugreifen auf die großen Datenmengen praktisches Beispiel hier somit nur noch wenn muss auf der Kommandant verwendet ihren Ilse aber wenn wir eben Daten für bestimmten Ausschnitt für bestimmt das Polygon abfragen möchten ganz einfach aber das was nach dem Minus Kuka und es als Sieg vor allen Ausdruck also bekommen kühlen Bridge ist auch im Standard da kann man Geometrie Argumente über Makler Riesenhaufen oder Attribut oder kombiniert also einfach abfragen kann man schon auf der Komman- sein machen Western komplizierter wird das analytische wird muss man sie natürlich andere Möglichkeiten suchen eine Möglichkeit ist gut oder ist weil sie es können hatten wir schon vor kann wo viele Sachen und das gilt auch für das BAG in SQL an heiteren und dann wir praktisch 10 taktisch sehr sehr ähnlich zu Postdienst will ist auch SQL 4 Schreiben mit diesen Backend das habe ich schon gesagt haben das heißt er muss man das fragen aber gut das hat es doch nur sehen Notebook verwenden kann für die Exploration sobald den schlichtweg der von der klein ist der erste Schritt doch mal diese Notebooks zu verwenden sehr bei denen es normalerweise dem setback dabei Sie kennen vielleicht da die Tube da Notebooks es erhält sie ganz ähnlich aber von der Bedienung her also mochte einfach sehr einfach einmal ein Gefühl für die Taten zu kriegen die 1. Zugriffe zu machen die SQL-Funktionen die unterstützt sind das ist einfach nur mal Ausschnitt ob er wird auf dem machte vorgenommen um zu zeigen dass die als sehr sehr ähnlich sind Sopos geht ist es ist toll das ist ja abgedeckt aber sind wirklich sehr auf jeden Fall in die Richtung das 1. Mal dass eine kennt kann man relativ schnell in dem anderen auch was machen die
Verwaltung es gibt es keinen GG oder so mit dem er die Daten ansehen kann aber es geht immer auch so und so ähnliche Tools mit denen sich dann herumschlagen kann wo sich Ihre okay einleiten wollte ist Datenbank in der wir ungefähr 7 Milliarden über Eckerts Tränen haben mit der Welt der auf der dann die Beispiele passieren die als nächstes habe also
diese 7 Milliarden weglasse sitzt er als Apple im Notebook eben mit Bank SQL-Code deren ausgeführt wird einfach nur um einmal dieser Zeitreise zu erzeugen wie viele wir kurz haben wir den pro Park und da kann man ganz gut erkennen ja wir haben jeden Tag ungefähr 10 Millionen gerade in unserem Datensatz die kann da mal aufzählen auf mit dieser seines nahezu bei effizient ins Park werden muss trotzdem einmal der Rolle durchgehen und sehen es gibt also Sachen wie es soll nur schätzen wie viele Weckers es sind beginnen dann wesentlich schneller aber zählen das mit schnellstens BAG aber ganz machen was dann schon interessanter mehr tun was wir also ähnlich schreiben kann wenn Bus des ist zum Beispiel vor also Fragen wie zu ließ Seele oder liest immer alle Schiefer die zwischen 2 Häfen hin und her gefahren sind das ist definiert zwar den wachsen und dann schaut man welche schief sowohl in einem Brandenburgs als auch in anderen Brandenburgs und dann kam eben hat sie in Fülle der distinkt eigentlich in dem Fall ist die es Ei bei den schiefen des 10 und dann kriegt man was wir vielleicht das sowohl in dem an der Innenhafen oder auch in den anderen Hafenbahn in dem er SQL-Code schreibt das ist ein Beispiel wie man es eben an etliche einschränken kann also auch hier wieder man muss mit großer Decke lernen um es zu benutzen dieses Tool am Bauch gesehen von diesen SQL Sachen gibt sein als Funktionen die Tieren ist eingebaut worden sind aber die die spezieller des Sachen machen zum Beispiel gibt es aber Tool das Haas Davoud Search uns das das stellt einen netten Jungen zeitversetzt am des Zug Ausschnitte aus die PS 3 die einer bestimmten Geometrie dem als Parameter übergibt ähnlich sein aus der ganzen Datenmenge oder aus als auch selbst von der Datenmenge zum Beispiel wie in dem Beispiel aber alle Cargo für alle Frachtschiffe die entlang dieser Route gefahren sind und funktioniert sehr schnell was es sehr denen die große Datenmenge war dieser Gelder in den 4. Sieg errungen war kann schon Wasser sehr sehr
nett aber neben dem Mond stoße es gibt es noch eine ganze Liste an weiteren Prozessen die sollen denen implementiert sind demnach auch schon verwenden kann oder man kann was er natürlich schreiben da mussten sie dann weiter bis er arbeiten die ganze Funktionsweise von Bank und wie dieses verteilte Rechnen denn so im Detail funktionieren die schon gesagt eine
das keine überzeugenden Argumente für mich war das eine Art dann am Schluss auch auf die Daten wieder zu Kräften kommen aus sind dies aber das heißt es gibt einen weiteren Fidschi unserer der muss immer praktisch nur entpacken in der Qi und der Installation dann hat Jose eine neue Art von Bett das dran und denen sie markieren Esser und dann kann man den Zugriff da drauf so konfigurieren wie auf jede andere Datenbank ob kann Inhalte
publizieren und Junge ist einmal da räumlich-zeitliche Datenbank ist es ist zusätzlich noch sehr spannend dass ich hier sehr war ja AZ Zeit unterstützt ihn auch Fragen von WMS und werfe es aber es ist immer so bekannt dieser Welt darum vom wären es aus der ist aber man kann in diesen Heim Parametern mitschicken bei jeder Umfrage mit der einschränken kamen was dargestellt wird den wir ist und so kam er eben auch schon in den Ski und selber für den sie wahrscheinlich kennen man sieht jedes schon mal verwendet haben erkläre mal einschränken fürchten Zeitbereich Mordtaten sehen möchte Bell comma in dem Video natürlich die ganze 7 Milliarden Daten anzeigen möchte wird damit fertig und Geld das jeweils das gleiche
visualisiert im Kugels es gibt
auch automatische wenn sie den am mehr Funktionen die bitte zur Verfügung gestellt wird von den Entwicklern von Tieren so dass erst dann kann man sie spielen mit verschiedenen Darstellungsmöglichkeiten und was in der Animation im jetzt noch drinnen ist es dass diese vom Coup ist ein Manager verwaltet werden können das Asthma kann danach bequem zwischen den verschiedenen Zeitpunkten hin und her scrollen kann das ob laufen lassen kann beobachten wie das Verhalten von den Taten ist ob
es irgendwelche Auffälligkeiten gibt oder grundsätzlich einmal explodieren aber wie die Daten eben so beschaffen sind
also funktionale Text technische ist das aber ein ganzer tolle Geschichte aber ich muss sie natürlich waren meist mit der Decke in 5 Minuten sowie Mappus bis lokal auf seinem Laptop Gebrauch setzen möchten es ist schon ein ziemlicher Technologies deckt was sich so eine Antwort glücklicherweise war gibt es mittlerweile so Tools wie am Baring die aber schon konfiguriert haben welche Versionen wovon mit welchen Versionen von dem anderen teilt der gemeinsam funktionieren vor funktionieren immer nur ganz spezielle Versionen miteinander und dann mal schön Kohle mit dem was sagen kann ok ich hätte gerne diesen diese eine Version von dem steckt und mit den Stall immer denn auf diesen diesen diesen diesen Rechner also wenn man Cluster möchte ist dass meine Nachfrage nach der Welt sogar und
wenn er noch keinen Klasse hat das aber nur mal ausprobieren möchte gibt es 2 Möglichkeiten des 1. die versucht aber Chi und Aufgaben doch Kaiser selbst wenn deren hat auch das probierst auch einmal aus nur als ich die Person war die des ewigen entgehen dem Gitter Politposse trage angelegt aber man schon kracht und die Masse die aktiv die Sendung dieser das wirklich nun ja aber was wesentlich besser für mich funktioniert hat und was er hat und was ich auch empfehlen würde ist sie sehr heikle Outlook können das ist das Gerät das zwar auf die der des führen aus des installiert Lokal an minimal andere Variante davon alle notwendigen Komponenten da kann man mal herumexperimentieren dann wird man natürlich jetzt keine Performance Erlebnisse haben aber man kann die Technologie und aus das ist ganz nett als 1. Schritt damit möchten Sie entlassen wenn sie es versuchen das demnächst wissen ich hätt gern aber mehr Anwender von dem Tool auf diesem Kontinent Dankeschön
Loading...
Feedback

Timings

  616 ms - page object

Version

AV-Portal 3.12.0 (3a2599d676b25753609baac9def5622401886a53)
hidden