We're sorry but this page doesn't work properly without JavaScript enabled. Please enable it to continue.
Feedback

Searching through large graphs using Elasticsearch

00:00

Formale Metadaten

Titel
Searching through large graphs using Elasticsearch
Serientitel
Anzahl der Teile
56
Autor
Lizenz
CC-Namensnennung 3.0 Unported:
Sie dürfen das Werk bzw. den Inhalt zu jedem legalen Zweck nutzen, verändern und in unveränderter oder veränderter Form vervielfältigen, verbreiten und öffentlich zugänglich machen, sofern Sie den Namen des Autors/Rechteinhabers in der von ihm festgelegten Weise nennen.
Identifikatoren
Herausgeber
Erscheinungsjahr
Sprache

Inhaltliche Metadaten

Fachgebiet
Genre
Abstract
The National Audiovisual Institute (INA) is a repository of all French audiovisual archives, being responsible for archiving over 180 radio and television services, 24/7, since 1995. The generated metadata describing this content currently represents the equivalent of over 50 million documents (e.g.: images, audio and video fragments, text excerpts, etc.). Due to the heterogeneity of the content, the data model is directly inspired from the conceptual models of cultural heritage, represented by a large graph with complex relations between generic entities. The challenge for building a global search engine for this particular use case is twofold: on one hand, the capacity to index and maintain the entire set of documents updated in a reasonable amount of time, and on the other hand the implementation of complex full text search capabilities with high performance. Our talk describes the key choices for the graph representation, facilitating the indexing process of the documents, as well as the technical framework set up around Elasticsearch, implementing dedicated search APIs required by different functional areas. We also briefly mention the implementation optimisations that lead to a full process of 50 million documents in less than 48 hours, for an equivalent of 800GB Elasticsearch index.
MultigraphFormation <Mathematik>CASE <Informatik>SuchmaschineMultigraphEreignishorizontXMLUMLVorlesung/Konferenz
Singuläres IntegralEDV-BeratungDienst <Informatik>SuchmaschineSoftwareentwicklerUnternehmensarchitekturWeb SiteKeller <Informatik>SichtenkonzeptURLDokumentenserverDatenbankInformationsspeicherungSynchronisierungProzess <Informatik>DatenverwaltungArchitektur <Informatik>VideokonferenzDivergente ReiheSpezialrechnerInhalt <Mathematik>DigitalisierungEreignishorizontBetafunktionMagnetbandlaufwerkHypermediaTypentheorieFreewareDatenmodellInstantiierungRelation <Informatik>Bildgebendes VerfahrenDatenbankDatensatzDatenverwaltungGraphOrdnung <Mathematik>ComputerarchitekturRelativitätstheorieTransformation <Mathematik>CAMExpertensystemEDV-BeratungWellenpaketKategorie <Mathematik>SynchronisierungVideokonferenzIntegralTemporale LogikBetafunktionInhalt <Mathematik>MereologieMomentenproblemPhysikalismusProjektive EbeneRechenschieberZahlenbereichDatenmodellFlächeninhaltElastische DeformationMagnetbandlaufwerkBroadcastingverfahrenServerHypermediaCASE <Informatik>Prozess <Informatik>AbstraktionsebeneInstantiierungFormation <Mathematik>PunktInformationsspeicherungMetadatenFokalpunktSuchmaschineMailing-ListeMinimumQuellcodeMultigraphElektronische PublikationEreignishorizontSichtenkonzeptWeb SiteEndliche ModelltheorieDifferenteMeta-TagMultiplikationsoperatorFreewareDigitale PhotographieOntologie <Wissensverarbeitung>Dienst <Informatik>BenutzerbeteiligungPackprogrammFigurierte ZahlSpezifisches VolumenDokumentenserverSoftwareentwicklerUnternehmensarchitekturSpannweite <Stochastik>ComputeranimationFlussdiagramm
DatenbankRelationale DatenbankDatenmodellElastische DeformationZahlenbereichRelation <Informatik>GraphKrümmungsmaßMigration <Informatik>QuellcodeAutomatische IndexierungSelbstrepräsentationDeklarative ProgrammierspracheCodeDatenbankDatenstrukturGraphImplementierungRelationale DatenbankRelativitätstheorieMAPVideokonferenzAutomatische IndexierungEntscheidungstheorieGlobale OptimierungGeradeInhalt <Mathematik>Komplex <Algebra>LastMereologieProjektive EbeneRechenschieberResultanteTeilmengeTermZahlenbereichZusammengesetzte VerteilungDatenmodellProzess <Informatik>KrümmungsmaßHeegaard-ZerlegungInstantiierungDatenfeldLuenberger-BeobachterFormation <Mathematik>Deklarative ProgrammierspracheKartesische KoordinatenUmwandlungsenthalpieMetadatenSuchmaschineQuellcodeEreignishorizontSichtenkonzeptEndliche ModelltheorieDifferenteSelbstrepräsentationElement <Gruppentheorie>IdentifizierbarkeitMultiplikationsoperatorCase-ModdingOntologie <Wissensverarbeitung>ModallogikComputeranimation
Funktion <Mathematik>MaßerweiterungTransformation <Mathematik>Offene MengeProzess <Informatik>Formale SpracheProgrammierungGruppenkeimElement <Gruppentheorie>AbfrageWarteschlangeSystemaufrufGerichtete MengeMessage-PassingAutomatische IndexierungGenerizitätKonfigurationsraumSoftwarewartungSpielkonsoleGammafunktionTaskMenütechnikParametersystemFehlermeldungAliasingIndexberechnungKonfiguration <Informatik>AbstraktionsebeneKategorie <Mathematik>AnwendungsschichtStandardabweichungCodeDatenbankFormale SpracheProgrammierspracheTransformation <Mathematik>Deskriptive StatistikProgrammbibliothekTypentheorieMAPFilter <Stochastik>VariableIntegralPhasenumwandlungAutomatische IndexierungGrenzschichtablösungTotal <Mathematik>AggregatzustandBitFunktionalGruppenoperationIndexberechnungKomplex <Algebra>LastMaßerweiterungMereologieResultanteWarteschlangeQuick-SortAbfrageVersionsverwaltungAutomatische HandlungsplanungTexteditorParametersystemProzess <Informatik>KrümmungsmaßHeegaard-ZerlegungInstantiierungDatenfeldDeklarative ProgrammierspracheExistenzsatzProgrammschleifeKartesische KoordinatenRichtungSuchmaschineMailing-ListeMultifunktionFramework <Informatik>MinimumDifferenteGenerizitätObjekt <Kategorie>Web ServicesElement <Gruppentheorie>EindringerkennungIdentifizierbarkeitMultiplikationsoperatorSchlussregelMessage-PassingMapping <Computergraphik>Interface <Schaltung>Spezifisches VolumenSoftwareentwicklerComputeranimation
SoftwarewartungAbfrageKategorie <Mathematik>IndexberechnungAnwendungsschichtStandardabweichungMathematikSinguläres IntegralDigitalfilterFormale SpracheNichtlinearer OperatorHistogrammSchlussregelQuellcodeTransformation <Mathematik>Coxeter-GruppeProxy ServerBootenQuelle <Physik>GamecontrollerArchitektur <Informatik>SuchmaschineAutomatische IndexierungProzess <Informatik>Globale OptimierungSystemplattformZufallszahlenVariableTermBeschreibungskomplexitätMittelwertExogene VariableCOMTotal <Mathematik>IterationBefehlsprozessorMAPImplementierungRelationentheorieInterface <Schaltung>GraphWrapper <Programmierung>DatenmodellDatenstrukturDeklarative ProgrammierspracheCodeDatenstrukturFormale SpracheGraphImplementierungTransformation <Mathematik>ValiditätTypentheorieProfil <Aerodynamik>MAPFilter <Stochastik>Kategorie <Mathematik>MittelwertProgrammierumgebungAutomatische IndexierungGrenzschichtablösungGlobale OptimierungBenchmarkFunktionalGeradeGruppenoperationKomplex <Algebra>LastMereologieProjektive EbeneResultanteDatenmodellQuick-SortAbfrageReelle ZahlExogene VariableNichtlinearer OperatorResponse-ZeitCASE <Informatik>Heegaard-ZerlegungCoxeter-GruppePunktKartesische KoordinatenQuelle <Physik>UmwandlungsenthalpieSuchmaschineMailing-ListeBootenSichtenkonzeptWeb SiteEndliche ModelltheorieDifferenteGenerizitätWrapper <Programmierung>p-BlockSystemplattformObjekt <Kategorie>Element <Gruppentheorie>KurvenanpassungMultiplikationsoperatorRandwertSchlussregelRechter WinkelGamecontrollerAttributierte GrammatikComputerarchitekturLeistungsbewertungMomentenproblemRotationsflächeElastische DeformationProzess <Informatik>VollständigkeitInteraktives FernsehenEreignishorizontDatenparallelitätDienst <Informatik>DokumentenserverComputeranimation
Vorzeichen <Mathematik>MultiplikationsoperatorLastWechselsprungAbfrageVorlesung/KonferenzBesprechung/Interview
ROM <Informatik>Strom <Mathematik>GraphTypentheorieMittelwertPhysikalisches SystemAbfrageExogene VariableHeegaard-ZerlegungKurvenanpassungMultiplikationsoperatorZweiVirtualisierungComputeranimation
GraphTypentheorieSoftwaretestAutomatische IndexierungInhalt <Mathematik>AbfrageHeegaard-ZerlegungDifferenteKartesische KoordinatenVorlesung/Konferenz
Elastische DeformationStreaming <Kommunikationstechnik>SchaltnetzTypentheorieBitAbfrageInstantiierungKartesische KoordinatenVollständiger VerbandEreignishorizontDifferenteObjekt <Kategorie>Besprechung/Interview
EinsGraphVerschlingungAbstandPunktEin-AusgabeSichtenkonzeptVorlesung/KonferenzBesprechung/Interview
GraphAutomatische IndexierungArithmetisches MittelKomplex <Algebra>TermVerschlingungAbfrageAbstandProzess <Informatik>InstantiierungFormation <Mathematik>PunktKartesische KoordinatenMetadatenSchnitt <Mathematik>EreignishorizontSichtenkonzeptElement <Gruppentheorie>SchlussregelOntologie <Wissensverarbeitung>ThumbnailDifferenteBesprechung/Interview
Formation <Mathematik>Vorlesung/KonferenzJSONXMLUML
Transkript: Englisch(automatisch erzeugt)