We're sorry but this page doesn't work properly without JavaScript enabled. Please enable it to continue.
Feedback

Searching large data sets in (near) constant time

00:00

Formale Metadaten

Titel
Searching large data sets in (near) constant time
Serientitel
Anzahl der Teile
60
Autor
Mitwirkende
Lizenz
CC-Namensnennung 3.0 Unported:
Sie dürfen das Werk bzw. den Inhalt zu jedem legalen Zweck nutzen, verändern und in unveränderter oder veränderter Form vervielfältigen, verbreiten und öffentlich zugänglich machen, sofern Sie den Namen des Autors/Rechteinhabers in der von ihm festgelegten Weise nennen.
Identifikatoren
Herausgeber
Erscheinungsjahr
Sprache

Inhaltliche Metadaten

Fachgebiet
Genre
Abstract
In low latency search environments, queries producing large result sets are a real pain. A proper ranking of large result sets burns a lot cpu. Those queries have the potential to slow down or even brick your cluster. On the customer side it is questionable whether it makes sense to return millions of documents as the customer has to filter them afterwards anyway. Those large result sets caused us heavy headache as they significantly reduced the available compute head room on the nodes of our Solr cluster. They even bricked the whole cluster when hitting the cluster in high volume. In this project report we'll guide you through the steps (and math) how we: - constructed index based random experiments, - estimate the rough query hit count of a query by extrapolating bucket search results, - collect and apply static first phase ranking information, - use the information collected to filter the result set to the most relevant documents to return no more than a given number of documents, - extrapolate hit and facet counts to mimic the original search result and - handle document collapsing and facetting. In this talk we'll guide you through the software architectural aspects as well as the math applied. Although applied on a Solr search system, this concept can be applied on other search engines as well.
SchnittmengeKonstanteFormation <Mathematik>OrdnungsreduktionMinkowski-MetrikPerfekte GruppeAppletProjektive EbeneNichtlinearer OperatorDiagrammVorlesung/KonferenzBesprechung/Interview
DatenparallelitätLokales MinimumEingebettetes SystemPhasenumwandlungRankingImplementierungBefehlsprozessorInformation RetrievalIndexberechnungQuick-SortExtrapolationProjektive EbeneProgrammfehlerSystemprogrammWeb-SeiteResponse-ZeitLastteilungMultiplikationsoperatorMereologieResultanteBefehlsprozessorDistributionenraumPhysikalisches SystemNintendo Co. Ltd.ImplementierungExtrapolationMAPBrowserKartesische KoordinatenKugelkappeInhalt <Mathematik>ZweiMittelwertLokales MinimumAutomatische HandlungsplanungInformation RetrievalAbfrageQuick-SortSchnittmengeAutomatische IndexierungProgrammierumgebungFunktionalPhasenumwandlungRankingSpeicherabzugMathematikZentrische StreckungInstantiierungMailing-ListeStichprobenumfangReelle ZahlArithmetisches MittelDruckverlaufCachingProzess <Informatik>Vorlesung/KonferenzComputeranimation
StichprobeNumerisches VerfahrenZufallszahlenStichprobenumfangAbfrageTrennschärfe <Statistik>SchätzfunktionFehlermeldungLuenberger-BeobachterBitrateEinfache GenauigkeitTabelleNormalverteilungInformationsspeicherungInformationZahlenbereichMultiplikationsoperatorNichtlineares GleichungssystemBitEindringerkennungDatenstrukturAutomatische IndexierungSchnittmengeRechter WinkelBildschirmmaskeOrdnung <Mathematik>Quick-SortLeistung <Physik>MathematikDistributionenraumAutomatische HandlungsplanungProdukt <Mathematik>MereologieBereichsschätzungZufallsgeneratorHalbleiterspeicherBinomialverteilungNeuroinformatikGlobale OptimierungResultanteIterationVorlesung/KonferenzComputeranimation
FehlermeldungDistributionenraumAutomatische IndexierungMereologieQuick-SortImplementierungBitrateMittelwertCASE <Informatik>PhasenumwandlungRankingVorlesung/KonferenzBesprechung/Interview
DistributionenraumDatenfeldDigitalfilterQuantilfunktionRankingStichprobeLokales MinimumInformation RetrievalSchätzungQuellcodeExtrapolationKomponente <Software>GrenzschichtablösungVektorrechnungCodeImplementierungZusammenhängender GraphKlasse <Mathematik>Mailing-ListeFehlermeldungNeuroinformatikCodeRankingPhasenumwandlungAbfrageMereologieAutomatische IndexierungKoordinatenCASE <Informatik>Interface <Schaltung>ResolventeGrenzschichtablösungGeometrische QuantisierungStrömungsrichtungTrennschärfe <Statistik>MultiplikationsoperatorLokales MinimumInformation RetrievalResultanteSchätzfunktionOrdnung <Mathematik>ZählenTermEin-AusgabeSyntaktische AnalyseProzess <Informatik>DatenfeldApproximationReelle ZahlExogene VariableProgrammbibliothekSpeicherverwaltungQuantilfunktionStichprobenumfangDistributionenraumNichtlineares GleichungssystemExtrapolationWeb SiteDigitalisierungPunktKurvenanpassungMatchingProgrammfehlerComputeranimationVorlesung/Konferenz
GrenzschichtablösungKomponente <Software>VektorrechnungCodeImplementierungViereckAbfrageExtrapolationProdukt <Mathematik>Sampling <Musik>BitrateFehlermeldungLineare AbbildungStichprobeTeilmengeProdukt <Mathematik>SystemzusammenbruchGeradeAlgorithmusAbfrageResultanteZusammenhängender GraphOrdnungsreduktionSpeicherverwaltungVorhersagbarkeitDistributionenraumMinimumBitZweiTrennschärfe <Statistik>MultiplikationsoperatorStichprobenumfangSchnittmengeMechanismus-Design-TheorieCASE <Informatik>Information RetrievalBereichsschätzungBildschirmmaskeMusterspracheDifferentePlug inAutorisierungResponse-ZeitCodeProzess <Informatik>Mathematische LogikParametersystemBefehlsprozessorComputeranimation
Exogene VariableAbfrageInformation RetrievalEin-AusgabeTermPhysikalisches SystemComputeranimationVorlesung/Konferenz
AbfrageStatistikTypentheorieTermTopologieZahlenbereichBesprechung/InterviewVorlesung/Konferenz
TorsionAbfrageZusammenhängender GraphCASE <Informatik>ResultanteBitVorlesung/KonferenzBesprechung/Interview
E-LearningÄußere Algebra eines ModulsRankingPlug inMonster-GruppeFunktionalSpeicherverwaltungMultiplikationsoperatorZahlenbereichAdditionCASE <Informatik>BitZweiPhasenumwandlungAutomatische IndexierungViewerInverser LimesTeilbarkeitVorlesung/KonferenzBesprechung/Interview
ZahlenbereichAbfrageResultanteViewerSchnittmengeDatenverwaltungVorlesung/Konferenz
MereologieAbfrageMultimengeGebäude <Mathematik>SchnittmengeMultiplikationsoperatorParametersystemCachingVorlesung/KonferenzBesprechung/Interview
SchätzfunktionZahlenbereichAutomatische IndexierungMultiplikationsoperatorMereologieDistributionenraumZählenProdukt <Mathematik>StichprobenumfangVorlesung/Konferenz
KonditionszahlZufallsgeneratorResultanteStabilitätstheorie <Logik>MultiplikationsoperatorProdukt <Mathematik>ZahlenbereichSchaltnetzAutomatische IndexierungUmwandlungsenthalpieBesprechung/InterviewVorlesung/Konferenz
ZahlenbereichMathematikSchnittmengeVorlesung/Konferenz
StichprobenumfangMultiplikationsoperatorAbfrageOnlinecommunityFormation <Mathematik>Vorlesung/KonferenzBesprechung/Interview
Diagramm
Transkript: Englisch(automatisch erzeugt)