We're sorry but this page doesn't work properly without JavaScript enabled. Please enable it to continue.
Feedback

Towards Big Earth Data Analytics: The EarthServer Approach

00:00

Formale Metadaten

Titel
Towards Big Earth Data Analytics: The EarthServer Approach
Serientitel
Anzahl der Teile
95
Autor
Lizenz
CC-Namensnennung - keine kommerzielle Nutzung - Weitergabe unter gleichen Bedingungen 3.0 Unported:
Sie dürfen das Werk bzw. den Inhalt zu jedem legalen und nicht-kommerziellen Zweck nutzen, verändern und in unveränderter oder veränderter Form vervielfältigen, verbreiten und öffentlich zugänglich machen, sofern Sie den Namen des Autors/Rechteinhabers in der von ihm festgelegten Weise nennen und das Werk bzw. diesen Inhalt auch in veränderter Form nur unter den Bedingungen dieser Lizenz weitergeben
Identifikatoren
Herausgeber
Erscheinungsjahr
Sprache
ProduktionsortNottingham

Inhaltliche Metadaten

Fachgebiet
Genre
Abstract
Big Data in the Earth sciences, the Tera- to Exabyte archives, mostly are made up from coverage data whereby the term "coverage", according to ISO and OGC, is defined as the digital representation of some space-time varying phenomenon. Common examples include 1-D sensor timeseries, 2-D remote sensing imagery, 3D x/y/t image timeseries and x/y/z geology data, and 4-D x/y/z/t atmosphere and ocean data. Analytics on such data requires on-demand processing of sometimes significant complexity, such as getting the Fourier transform of satellite images. As network bandwidth limits prohibit transfer of such Big Data it is indispensable to devise protocols allowing clients to task flexible and fast processing on the server. The EarthServer initiative, funded by EU FP7 eInfrastructures, unites 11 partners from computer and earth sciences to establish Big Earth Data Analytics. One key ingredient is flexibility for users to ask what they want, not impeded and complicated by system internals. The EarthServer answer to this is to use high-level query languages; these have proven tremendously successful on tabular and XML data, and we extend them with a central geo data structure, multi-dimensional arrays. A second key ingredient is scalability. Without any doubt, scalability ultimately can only be achieved through parallelization. In the past, parallelizing code has been done at compile time and usually with manual intervention. The EarthServer approach is to perform a semantic-based dynamic distribution of queries fragments based on networks optimization and further criteria. The EarthServer platform is comprised by rasdaman, an Array DBMS enabling efficient storage and retrieval of any-size, any-type multi-dimensional raster data. In the project, rasdaman is being extended with several functionality and scalability features, including: support for irregular grids and general meshes; in-situ retrieval (evaluation of database queries on existing archive structures, avoiding data import and, hence, duplication); the aforementioned distributed query processing. Additionally, Web clients for multi-dimensional data visualization are being established. Client/server interfaces are strictly based on OGC and W3C standards, in particular the Web Coverage Processing Service (WCPS) which defines a high-level raster query language. We present the EarthServer project with its vision and approaches, relate it to the current state of standardization, and demonstrate it by way of large-scale data centers and their services using rasdaman.
Design by ContractArithmetisch-logische EinheitFontVisualisierungOffene MengeStandardabweichungSystemplattformSkalierbarkeitDienst <Informatik>Lokales MinimumGewöhnliche DifferentialgleichungComputerInformationsspeicherungAnalytische MengeAbfrageverarbeitungClientW3C-StandardVariableDatenmodellProzess <Informatik>URNHash-AlgorithmusWeitverkehrsnetzStereometrieMultiplikationÜberlagerung <Mathematik>KurvenanpassungVarietät <Mathematik>DateiformatCodierung <Programmierung>AbstraktionsebeneFlächentheorieTemporale LogikClientBenutzerbeteiligungPhysikalisches SystemEndliche ModelltheorieCoxeter-GruppeFokalpunktInterpretiererMetropolitan area networkDivisionEvolutionärer AlgorithmusPhysikalischer EffektQuick-SortMathematikKonditionszahlElement <Gruppentheorie>Ordnung <Mathematik>Prozess <Informatik>NeuroinformatikServerTypentheorieImplementierungMapping <Computergraphik>Minkowski-MetrikWeb ServicesSchnittmengeGerichteter GraphDimensionsanalysePunktLESGruppenoperationDichte <Physik>AdditionKoalitionMailing-ListeURLStandardabweichungSoftwareentwicklerAnalytische MengeAnalysisFlächentheorieKoordinatenOpen SourceSystemplattformKurvenanpassungProjektive EbeneZeitreihenanalyseSkalierbarkeitStereometrieWürfelSoftwareLesen <Datenverarbeitung>DifferenteMetadatenOptimierungSelbstrepräsentationGebäude <Mathematik>SatellitensystemOffene MengeBildgebendes VerfahrenZweiIntegralComputeranimation
Hook <Programmierung>AbstraktionsebeneDatentypZeitbereichSpannweite <Stochastik>SchnittmengeKlasse <Mathematik>StatechartPrädikatenlogik erster StufeServerTypentheorieProzess <Informatik>SkalierbarkeitDienst <Informatik>AbfrageStandardabweichungGeometrieDatenstrukturPhysikalisches SystemSchlüsselverwaltungLikelihood-Quotienten-TestAbfragespracheMusterspracheDivergente ReiheData MiningDemo <Programm>MittelwertWeb ServicesW3C-StandardVarietät <Mathematik>DifferenteStandardabweichungSpeicherabzugEndliche ModelltheorieDatenmodellSpannweite <Stochastik>KoordinatenDatenstrukturLuenberger-BeobachterMereologieIntegralPhysikalisches SystemMaßerweiterungAbfrageProjektive EbeneInformationSchnittmengeFormation <Mathematik>TypentheorieTopologieMinkowski-MetrikDomain <Netzwerk>HilfesystemSichtenkonzeptPixelElement <Gruppentheorie>Formale SemantikNummernsystemPunktspektrumFormale SpracheAggregatzustandZellularer AutomatMetropolitan area networkPhysikalischer EffektHochdruckWeb ServicesComputeranimationFlussdiagramm
MathematikFormale SpracheServerGeometrieTeilmengeProzess <Informatik>Desintegration <Mathematik>AbfrageNichtlinearer OperatorSchnittmengeRuhmasseProzess <Informatik>AbfrageNeuroinformatikFormation <Mathematik>Formale SprachePhysikalisches SystemVariableMultiplikationsoperatorTeilmengeNichtlinearer OperatorKoordinatenElement <Gruppentheorie>Service providerTrennschärfe <Statistik>ResultanteCodierungGewicht <Ausgleichsrechnung>Computeranimation
VarianzWendepunktBitratePufferspeicherPaarvergleichAbfrageFormale SemantikEin-AusgabeAbfragePhysikalisches SystemBildschirmmaskeFunktionalProzess <Informatik>Formale SemantikSchnittmengeProgramm/Quellcode
Desintegration <Mathematik>FlächeninhaltSpezialrechnerAbfrageImplementierungVisualisierungStandardabweichungWidgetProgrammbibliothekProzess <Informatik>W3C-StandardWeb ServicesClientBitmap-GraphikAbfragespracheSchnittstelleServerGraphikprozessorDiskrete-Elemente-MethodeSkalierbarkeitJensen-MaßDatenbankKonvexe HülleSystemplattformParallelrechnerDistributionenraumGlobale OptimierungNeuronales NetzSchlüsselverwaltungHill-DifferentialgleichungAbfrageverarbeitungParallele SchnittstelleMultiplikationSampler <Musikinstrument>Lokales MinimumPunktEinfache GenauigkeitPunktwolkeBinärdatenInformation RetrievalInformationsspeicherungLeistungsbewertungDatentypDatenstrukturVektorrechnungSpeicherabzugPolareExt-FunktorElektronische PublikationWiderspruchsfreiheitARM <Computerarchitektur>Produkt <Mathematik>Endliche ModelltheorieService providerÜberlagerung <Mathematik>AnalysisFunktion <Mathematik>SystemplattformMAPPhysikalisches SystemInformationsspeicherungDatensichtgerätProjektive EbeneDatenbankIntegralVisualisierungWürfelResultanteMetadatenMaßerweiterungBildgebendes VerfahrenKonditionszahlProzess <Informatik>MereologieDomain <Netzwerk>Inhalt <Mathematik>AbfrageGrenzschichtablösungTesselationDifferenteVerschlingungServerGlobale OptimierungTelekommunikationClientAnalysisMensch-Maschine-SchnittstellePackprogrammRahmenproblemBenutzerbeteiligungMusterspracheJensen-MaßSpeicherabzugFokalpunktThreadParallele SchnittstelleComputerarchitekturFormation <Mathematik>SkalierbarkeitImplementierungDigitalisierungStammdatenElektronische PublikationDatenstrukturStandardabweichungProdukt <Mathematik>CodeAggregatzustandMultiplikationsoperatorTeilmengeBitMapping <Computergraphik>Nichtlinearer OperatorURLMaschinelles SehenPhysikalischer EffektReelle ZahlFlächeninhaltHalbleiterspeicherPunktKartesische KoordinatenSchreib-Lese-KopfAutorisierungGarbentheorieGüte der AnpassungSoftwaretestSchnittmengeBitrateComputeranimation
SpezialrechnerService providerSatellitensystemProdukt <Mathematik>Web ServicesServerTextur-MappingRechter WinkelTemporale LogikInformationsspeicherungParametersystemProdukt <Mathematik>SchnittstelleProfil <Aerodynamik>Computeranimation
W3C-StandardTypentheorieSchnittstelleSpezialrechnerService providerURNARM <Computerarchitektur>AbfrageVisualisierungSchnittstelleMensch-Maschine-SchnittstelleWeb ServicesBenutzerbeteiligungAbstimmung <Frequenz>Computeranimation
SpezialrechnerService providerDifferenteTypentheorieStereometrieFlächentheorieInformationMinkowski-MetrikStereometrieVisualisierungComputeranimation
SpezialrechnerService providerVisualisierungAnalysisKlasse <Mathematik>PunktwolkeDesintegration <Mathematik>Suite <Programmpaket>SchnittmengeDiagrammWürfelAbfrageProzess <Informatik>StandardabweichungSchnittstelleVisuelles SystemClientService providerPhysikalisches SystemBenutzerbeteiligungMultiplikationsoperatorSchnittmengeIntegralMaschinelles SehenProgrammierumgebungKartesische KoordinatenMAPDatensatzWeb ServicesImplementierungNeuroinformatikPerspektiveServerAbfrageStatistikProjektive EbeneFormale SpracheCASE <Informatik>SprachsyntheseVisualisierungBitTermQuaderQuick-SortGruppenoperationWasserdampftafelReelle ZahlNabel <Mathematik>Web SiteHistogrammNummernsystemPhysikalische TheorieRückkopplungOpen SourceAnalytische MengeDiagrammMetadatenDynamisches SystemGüte der AnpassungSchnittstelleAdditionDomain <Netzwerk>Online-KatalogMereologieDruckspannungDifferenteComputeranimation
Transkript: Englisch(automatisch erzeugt)