We're sorry but this page doesn't work properly without JavaScript enabled. Please enable it to continue.
Feedback

Billion Tables Project (BTP)

00:00

Formale Metadaten

Titel
Billion Tables Project (BTP)
Alternativer Titel
The Billion Tables Project
Serientitel
Anzahl der Teile
25
Autor
Mitwirkende
Lizenz
CC-Namensnennung - keine kommerzielle Nutzung - Weitergabe unter gleichen Bedingungen 3.0 Unported:
Sie dürfen das Werk bzw. den Inhalt zu jedem legalen und nicht-kommerziellen Zweck nutzen, verändern und in unveränderter oder veränderter Form vervielfältigen, verbreiten und öffentlich zugänglich machen, sofern Sie den Namen des Autors/Rechteinhabers in der von ihm festgelegten Weise nennen und das Werk bzw. diesen Inhalt auch in veränderter Form nur unter den Bedingungen dieser Lizenz weitergeben
Identifikatoren
Herausgeber
Erscheinungsjahr
Sprache
ProduktionsortOttawa, Canada

Inhaltliche Metadaten

Fachgebiet
Genre
Abstract
Aka how long a "\dt" takes on a 1B tables database Usually "large" databases are considered as such for the high number of records they hold, reaching billions or even more than that. But what about creating a billion... tables? Sometime ago, this apparently crazy question was found in a database soup. It may not be your day-to-day task, but the task of creating them exposes some topics about PostgreSQL internals, performance and large databases that may be really worth for your day-to-day. Join us for this talk, where we'll be discussing topics such as catalogue structure and storage requirements, table speed creation, differences between PostgreSQL versions and durability vs. table creation speed tradeoffs, among others. And, of course, how long a "\dt" takes on a 1B tables database :) This talk will explore all the steps taken to achieve such a result, raising questions on topics such as: The catalogue structure and its storage requirements. Table creation speed. Durability tradeoffs to achieve the desired goal. Strategy to be able to create the 1B tables. Scripts / programs used. How the database behaves under such a high table count. Differences in table creation speed and other shortcuts between different PostgreSQL versions. How the storage media and database memory affects the table creation speed and the feasibility of the task. If it makes sense to have such a database. It is intended to be a funny, open talk, for a beginner to medium level audience, interested in large databases, performance and PostgreSQL internals.
TabelleAppletEDV-BeratungArchitektur <Informatik>UnternehmensarchitekturTwitter <Softwareplattform>COMDatenbankMultiplikationMultiplikationsoperatorBitFlächeninhaltOffenes KommunikationssystemWellenpaketEDV-BeratungZentrische StreckungSystemaufrufTabelleSoftwareCloud ComputingDatenbankSoftwareentwicklerComputerarchitekturDatensatzCASE <Informatik>Coxeter-GruppeZahlenbereichBildgebendes VerfahrenRechter WinkelVirtualisierungMathematikUnternehmensarchitekturBasis <Mathematik>Computeranimation
Explorative DatenanalyseMehrrechnersystemUnabhängige MengeCAN-BusNetzwerkbetriebssystemRechenwerkMultiplikationDatenbankNormalvektorZahlenbereichDatensichtgerätOffene MengeRechenschieberSichtenkonzeptSpezielle unitäre GruppeElektronischer DatenaustauschMehrwertnetzElektronische PublikationTabelleSystem-on-ChipBildschirmfensterComputerunterstützte ÜbersetzungHilfesystemKreisbogenSchlussregelMIDI <Musikelektronik>TouchscreenAuflösung <Mathematik>Computeranimation
RechenschieberMehrwertnetzDreiDatenbankRechenwerkCAN-BusElektronische PublikationFerritkernspeicherDienst <Informatik>BildschirmfensterZeitzoneNabel <Mathematik>SichtenkonzeptHilfesystemVerzeichnisdienstNichtlineares ZuordnungsproblemTabelleHash-AlgorithmusOffene MengeOffice-PaketFermatsche VermutungFormale GrammatikMultiplikationZahlenbereichEinfache GenauigkeitUnternehmensarchitekturRelationentheorieEinfache GenauigkeitUnternehmensarchitekturObjektrelationale AbbildungTypentheorieZahlenbereichData MiningKundendatenbankDatenbankTabelleBeobachtungsstudieRechter WinkelKategorie <Mathematik>NormalvektorComputeranimationProgramm/Quellcode
KryptologieTabelleAttributierte GrammatikLokales MinimumDatenbankDatensatzInverser LimesTypentheorieZahlenbereichE-MailURNWeitverkehrsnetzDruckspannungServerSoftwaretestSchwebungLogarithmusServerDifferenteMetropolitan area networkLokales MinimumBitTabelleZahlenbereichDatenbankInverser LimesSymboltabelleTypentheorieDatensatzMini-DiscElektronische PublikationSystemverwaltungE-MailAttributierte GrammatikData MiningTreiber <Programm>SchwebungWeb logBefehl <Informatik>Zentrische StreckungSoftwaretestGemeinsamer SpeicherElement <Gruppentheorie>Produkt <Mathematik>Mailing-ListeComputeranimation
GruppenoperationOrdinalzahlCoxeter-GruppeTabelleCOMSerielle SchnittstelleServerMini-DiscMarketinginformationssystemInnerer PunktEinfache GenauigkeitSpeicher <Informatik>DateisystemGleitendes MittelHalbleiterspeicherProzess <Informatik>Chi-Quadrat-VerteilungStrategisches SpielTreiber <Programm>ZeitbereichSocket-SchnittstelleStatechartSynchronisierungVakuumWendepunktBefehlsprozessorIntelFerritkernspeicherDisk-ArrayLogarithmusRechenwerkKlon <Mathematik>Spezielle unitäre GruppeSummierbarkeitCAN-BusBefehl <Informatik>DiagrammMini-DiscIterationKlasse <Mathematik>Web logWeb-SeiteDatensatzSchnittmengeZweiEin-AusgabeTabelleZahlenbereichGanze ZahlSkriptspracheFolge <Mathematik>Minkowski-MetrikProgrammierungEinfach zusammenhängender RaumServerGüte der AnpassungElektronische PublikationVakuumProzess <Informatik>PufferspeicherBitSerielle SchnittstelleDifferenteDateiverwaltungTreiber <Programm>SoftwaretestBinodalkurveSpeicher <Informatik>BefehlsprozessorDatenstrukturKernel <Informatik>p-BlockTransaktionStandardabweichungGradientStrategisches SpielGruppenoperationHalbleiterspeicherInformationPhysikalisches SystemKette <Mathematik>DatenfeldZentrische StreckungGewicht <Ausgleichsrechnung>Rechter WinkelTemperaturstrahlungMailing-ListeStabilitätstheorie <Logik>Metropolitan area networkOrdnung <Mathematik>MetadatenBus <Informatik>MultiplikationsoperatorRuhmasseTeilbarkeitFrequenzEreignishorizontComputeranimation
TabelleMini-DiscHalbleiterspeicherProzess <Informatik>ZeitbereichSocket-SchnittstelleElektronische PublikationTreiber <Programm>Chi-Quadrat-VerteilungStrategisches SpielVakuumKraftLokales MinimumDefaultGrenzschichtablösungDatenspeicherungMinkowski-MetrikPartitionsfunktionDatenbankKernel <Informatik>ThreadBefehlsprozessorDisk-ArrayBinärdatenLogarithmusWeb-SeiteTabelleBefehlsprozessorSampler <Musikinstrument>DatenbankZweiGrenzschichtablösungTransaktionParametersystemKritischer Punkt <Mathematik>GefrierenSoftwaretestDifferenteNichtlinearer OperatorVirtuelle MaschineSkriptspracheCASE <Informatik>DatensatzLokales MinimumElektronische PublikationGamecontrollerMinkowski-MetrikCachingStapeldateiZahlenbereichDatenspeicherungPartitionsfunktionSchreiben <Datenverarbeitung>HalbleiterspeicherVakuumSpeicher <Informatik>SoftwareKonditionszahlInformationProfil <Aerodynamik>Online-KatalogMini-DiscServerSystemzusammenbruchTurm <Mathematik>QuellcodeProzess <Informatik>MultiplikationsoperatorKlasse <Mathematik>DateiverwaltungEin-AusgabeResultanteBitmap-GraphikPhysikalisches SystemRechter WinkelTensorBillard <Mathematik>Twitter <Softwareplattform>Quick-SortFerritkernspeicherRFIDDefaultRelationale DatenbankSoundverarbeitungLeistung <Physik>TeilbarkeitShape <Informatik>MAPMapping <Computergraphik>AggregatzustandComputeranimation
TabelleGlobale OptimierungDatenparallelitätSoftwaretestMini-DiscMittelwertBefehlsprozessorInverser LimesProzess <Informatik>SchnittmengeLogarithmusEin-AusgabeZahlenbereichSkriptspracheIterationQuellcodeBefehl <Informatik>Minkowski-MetrikSeidelTermThreadWeb logNabel <Mathematik>Lipschitz-StetigkeitZeiger <Informatik>BildschirmfensterCAN-BusMehrwertnetzSchnelltasteSpezielle unitäre GruppeCloud ComputingURNDreiMini-DiscGrenzschichtablösungTaskProzess <Informatik>Inhalt <Mathematik>DatenparallelitätSyntaktische AnalyseTabelleZweiDateiverwaltungMinkowski-MetrikMittelwertVirtuelle MaschineMereologieElektronische PublikationBefehl <Informatik>PartitionsfunktionZahlenbereichSkriptspracheMultiplikationsoperatorVerknüpfungsgliedSpeicher <Informatik>SpeicherverwaltungZellularer AutomatCodeInformationDiagrammSystem FThreadBefehlsprozessorHauptidealringStrömungsrichtungOrdnung <Mathematik>DatenbankDreiecksfreier GraphEin-AusgabeStandardabweichungQuellcodeIterationBootenTextsystemWasserdampftafelEinsParametersystemAusnahmebehandlungPuls <Technik>Inverser LimesDatenflussDruckspannungSoftwaretestFlächeninhaltAggregatzustandVererbungshierarchieRechenschieberPunktgitterVorzeichen <Mathematik>Computeranimation
Elektronische PublikationVerzeichnisdienstTabelleOffene MengeDatensichtgerätSichtenkonzeptBildschirmfensterSinusfunktionCAN-BusCursorPasswortExplorative DatenanalyseMetropolitan area networkWeg <Topologie>Parallele SchnittstelleBitRohdatenZustandsdichteBildschirmsymbolNabel <Mathematik>VIC 20GravitationsgesetzBinärdatenThreadLogarithmusRippen <Informatik>PortscannerProzess <Informatik>NetzwerkbetriebssystemSummierbarkeitTaupunktProzess <Informatik>SoftwaretestTabelleZahlenbereichMinkowski-MetrikEindringerkennungParametersystemSystemidentifikationProgramm/QuellcodeJSONComputeranimation
TabelleProzess <Informatik>KontrollstrukturCAN-BusBildschirmfensterNabel <Mathematik>SichtenkonzeptRahmenproblemThreadGeradeSeidelIterationSpannweite <Stochastik>HochdruckGewicht <Ausgleichsrechnung>Innerer PunktLoopProzess <Informatik>Gesetz <Physik>ZweiMultiplikationRechter WinkelDreiecksfreier GraphTabelleIterationZahlenbereichBefehl <Informatik>Stochastische AbhängigkeitProgrammierungMinkowski-MetrikEin-AusgabeThreadProgramm/QuellcodeJSON
ThreadKontrollstrukturTabelleElektronische PublikationVerzeichnisdienstParallelrechnerRohdatenMIDI <Musikelektronik>BildschirmfensterProzess <Informatik>Parallele SchnittstelleMetropolitan area networkLogarithmusNabel <Mathematik>BitARM <Computerarchitektur>VakuumTotal <Mathematik>DatenbankLesen <Datenverarbeitung>VerschiebungsoperatorZählenFunktion <Mathematik>SichtenkonzeptGraphiktablettCAN-BusSinusfunktionNominalskaliertes MerkmalURNSchreib-Lese-KopfWiederkehrender ZustandSystem FTermProzess <Informatik>TabelleProgrammiergerätZahlenbereichModallogikAusnahmebehandlungProgramm/QuellcodeJSON
Wiederkehrender ZustandLogarithmusInformationSchreib-Lese-KopfGesetz <Physik>SteuerwerkHochdruckFunktion <Mathematik>MittelwertStrom <Mathematik>LastArithmetisches MittelElektronische PublikationSichtenkonzeptBildschirmfensterNabel <Mathematik>CAN-BusPufferspeicherFreewareSatellitensystemSinusfunktionLokales MinimumExplorative DatenanalyseRechenschieberDateiformatTabelleReelle ZahlDifferenzengleichungZählenPhysikalisches SystemVarianzMinkowski-MetrikInverser LimesBefehl <Informatik>Verhandlungs-InformationssystemFehlermeldungCodeInformationZahlenbereichHalbleiterspeicherLoopSchnittmengeQuellcodeSoftwaretestDateiverwaltungLoginNichtlinearer OperatorFunktion <Mathematik>ApproximationMultiplikationsoperatorDatenbankZweiMetadatenKlasse <Mathematik>MittelwertElektronische PublikationParametersystemStatistikTabelleEinfügungsdämpfungVerzeichnisdienstBitPunktFormation <Mathematik>TransaktionEinfache GenauigkeitMailing-ListeProxy ServerRechter WinkelQuadratzahlBitmap-GraphikProgramm/QuellcodeComputeranimation
RohdatenLastPhysikalisches SystemMittelwertNetzwerkbetriebssystemURNMetropolitan area networkTabelleServerMini-DiscSynchronisierungProgrammierungArchitektur <Informatik>CAN-BusSummierbarkeitEmulationCachingSelbst organisierendes SystemDatenparallelitätSoftwaretestBefehlsprozessorVideokonferenzProzess <Informatik>DatenbankTabelleSpeicher <Informatik>Güte der AnpassungTUNIS <Programm>Web-SeiteTropfenPufferspeicherDialektMittelwertFront-End <Software>BitGeradeEinsServerLastHalbleiterspeicherPhysikalisches SystemVakuumCoprozessorBetafunktionPaarvergleichZellularer AutomatGrenzschichtablösungOffice-PaketKeller <Informatik>A-posteriori-WahrscheinlichkeitGewicht <Ausgleichsrechnung>MultiplikationsoperatorProgrammierungComputeranimation
TabelleDifferenteDatenbankMathematische LogikTabellePartitionsfunktionHalbleiterspeicherElektronische PublikationSoftwaretestDokumentenserverMini-DiscKonfiguration <Informatik>Virtuelle MaschineCASE <Informatik>Spezifisches VolumenDatenfeldInformationQuellcodeSpeicher <Informatik>ProgrammierumgebungAlgorithmische ProgrammierspracheSicherungskopieAbfrageGebäude <Mathematik>Rechter WinkelTrennschärfe <Statistik>MultiplikationsoperatorEinfügungsdämpfungZahlenbereichStellenringMinkowski-MetrikServerCluster <Rechnernetz>VariableGrenzschichtablösungAuswahlaxiomRechenschieberMittelwertBitWort <Informatik>PhysikalismusKartesische KoordinatenBildschirmmaskeMereologieProzess <Informatik>AggregatzustandZentrische StreckungLeistung <Physik>Element <Gruppentheorie>RichtungFlächeninhaltForcingFunktional
Transkript: Englisch(automatisch erzeugt)