We're sorry but this page doesn't work properly without JavaScript enabled. Please enable it to continue.
Feedback

High Performance Data Processing with Python, Kafka and Elasticsearch

00:00

Formale Metadaten

Titel
High Performance Data Processing with Python, Kafka and Elasticsearch
Serientitel
Anzahl der Teile
115
Autor
Mitwirkende
Lizenz
CC-Namensnennung - keine kommerzielle Nutzung - Weitergabe unter gleichen Bedingungen 4.0 International:
Sie dürfen das Werk bzw. den Inhalt zu jedem legalen und nicht-kommerziellen Zweck nutzen, verändern und in unveränderter oder veränderter Form vervielfältigen, verbreiten und öffentlich zugänglich machen, sofern Sie den Namen des Autors/Rechteinhabers in der von ihm festgelegten Weise nennen und das Werk bzw. diesen Inhalt auch in veränderter Form nur unter den Bedingungen dieser Lizenz weitergeben.
Identifikatoren
Herausgeber
Erscheinungsjahr
Sprache

Inhaltliche Metadaten

Fachgebiet
Genre
Abstract
In the current technology era, all kind of applications work on data. Data is used to represent a set of information. The healthcare apps, e-commerce apps etc works on data. Sometimes, this data needs to be get updated to reflect new changes across the platform. This action can be performed manually but what if platform data is getting updated in realtime or let’s say in every 1 hour? Such kind of problem can be solved by implementing a service based on Producer Consumer model. In this talk, I will be covering how Producer Consumer models work and how such design pattern can be implemented with Python. I will be explaining the whole implementation process using other tools such as Kafka as data streamer and Elasticsearch as data store. Talk Outline: 1. Problem Statement (2 mins) Introduction to problem statement. 2. Introduction to Producer Consumer Model (3 mins) Basics of Producer Consumer Model Applications 3. Deep-dive explanation of Producer Consumer model using example (5 mins) Elasticsearch Kafka 4. Explaining parts of our Producer Consumer model (5 mins) What kind of data are we updating in our data store? Why it’s a high performance solution? Implementation in Python as end-to-end framework. 5. Code walkthrough (5 mins) Produce data Stream data Consume data 6. Conclusion and Learnings (5 mins) Learnings Performance Pros and Cons 7. Q/A Session (5 mins) Target Audience - Beginner / Intermediate Proposal Section - Web based Systems Prerequisites - Python & System Design
VorgehensmodellGoogolMetrisches SystemEreignishorizontApp <Programm>Message-PassingZahlenbereichOrdnung <Mathematik>BitCodeDatenflussLastMultiplikationsoperatorKartesische KoordinatenSchnittmengeInformationProgrammierungComputersicherheitKategorie <Mathematik>Selbst organisierendes SystemHasard <Digitaltechnik>ZweiProdukt <Mathematik>BildschirmmaskeDatenbankElastische DeformationPerfekte GruppeDienst <Informatik>Zusammenhängender GraphMathematische LogikWeg <Topologie>WarteschlangeInhalt <Mathematik>EinfügungsdämpfungMathematikInformationsspeicherungSoftware EngineeringProzess <Informatik>DatenverarbeitungMomentenproblemBitrateSystemplattformSpezielle unitäre GruppeMathematische ModellierungPhysikalisches SystemRechenschiebersinc-FunktionCASE <Informatik>Reelle ZahlTermGoogolStapeldateiFehlermeldungMusterspracheWurm <Informatik>EchtzeitsystemHalbleiterspeicherFunktionalVirtuelle MaschineGeradeKonditionszahlMAPDifferenteExogene VariableDokumentenserverMatrizenrechnungGrenzschichtablösungImplementierungFramework <Informatik>E-MailGewicht <Ausgleichsrechnung>ClientNichtlinearer OperatorEntwurfsmusterDatenstrukturMathematisches ModellWhiteboardVererbungshierarchieBefehl <Informatik>MittelwertRepository <Informatik>Elektronische PublikationTelekommunikationTaskRechenwerkBasis <Mathematik>MatchingOpen SourceMagnetbandlaufwerkKontextbezogenes SystemGüte der AnpassungBesprechung/Interview
VorgehensmodellSoftwareTelekommunikationOpen SourceInformationSystemplattformSchnittmengeInformationsspeicherungSoftware EngineeringInformationDatenverarbeitungOpen SourceOrtsoperatorSelbst organisierendes SystemProgrammierungTelekommunikationKartesische KoordinatenXML
CodeSchreib-Lese-KopfRechenschieberBefehl <Informatik>Mathematische ModellierungZusammenhängender GraphReelle ZahlTerm
Befehl <Informatik>BitrateProdukt <Mathematik>MathematikInformationsspeicherungEntwurfsmusterBitDatenstrukturMultiplikationsoperatorApp <Programm>WhiteboardOrdnung <Mathematik>Befehl <Informatik>InformationSystemplattformBitrateDienst <Informatik>Inhalt <Mathematik>MittelwertRechenwerkCASE <Informatik>Prozess <Informatik>MomentenproblemPhysikalisches SystemMessage-PassingFehlermeldungWarteschlangeKonditionszahlDifferenteZusammenhängender GraphVirtuelle MaschineZahlenbereichHalbleiterspeicherEreignishorizontMathematische ModellierungDatenflussTermComputeranimation
Mathematisches ModellProdukt <Mathematik>Abelsche KategorieImplementierungMathematische ModellierungMagnetbandlaufwerkDienst <Informatik>InformationLastWarteschlangePhysikalisches SystemApp <Programm>CASE <Informatik>MagnetbandlaufwerkMessage-PassingMetrisches SystemBitInformationsspeicherungProdukt <Mathematik>ClientEinfügungsdämpfungKonditionszahlZusammenhängender GraphElastische DeformationWhiteboardProzess <Informatik>Reelle ZahlKategorie <Mathematik>Kartesische KoordinatenMusterspracheBildschirmmaskeBitrateWeg <Topologie>Mathematische LogikDatenflussDatenbankCodeVirtuelle MaschineTaskFramework <Informatik>Computeranimation
Produkt <Mathematik>Message-PassingInformationCodeMessage-PassingGeradeKartesische KoordinatenNichtlinearer OperatorFunktionalMAPWurm <Informatik>ClientOrdnung <Mathematik>Programm/Quellcode
Wurm <Informatik>Message-PassingOrdnung <Mathematik>Exogene VariableApp <Programm>Programm/Quellcode
Message-PassingStapeldateiProdukt <Mathematik>Lokales MinimumMailing-ListeWarteschlangeGeradeMultiplikationsoperatorMessage-PassingCodeSchnittmengeImplementierungFunktionalStapeldateiProgramm/Quellcode
Zellularer AutomatMessage-PassingExogene VariableProgramm/Quellcode
Produkt <Mathematik>TaupunktChi-Quadrat-VerteilungFermatsche VermutungDienst <Informatik>InformationMessage-PassingCodeKontextbezogenes SystemWarteschlangeBasis <Mathematik>Produkt <Mathematik>Programm/Quellcode
Online-KatalogProdukt <Mathematik>Abelsche KategorieMathematisches ModellProzess <Informatik>Dienst <Informatik>E-MailMatrizenrechnungCodeImplementierungDokumentenserverMagnetbandlaufwerkE-MailMatrizenrechnungRuhmasseDatenflussPhysikalisches SystemMathematisches ModellInformationsspeicherungDokumentenserverDienst <Informatik>WarteschlangeImplementierungZweiCodeProdukt <Mathematik>InformationApp <Programm>Prozess <Informatik>Computeranimation
Prozess <Informatik>Kartesische KoordinatenElektronische PublikationRepository <Informatik>Nichtlinearer OperatorAutomatische HandlungsplanungClientFramework <Informatik>Vorlesung/KonferenzComputeranimationBesprechung/Interview
Web-Seite
Transkript: Englisch(automatisch erzeugt)