Merken

take care of your logs

Zitierlink des Filmsegments
Embed Code

Automatisierte Medienanalyse

Beta
Erkannte Entitäten
Sprachtranskript
nochmal kurz ins trieben es folgt jetzt einen Vortrag von Jahren zum Thema Lok Fall managen meinetwegen Monitoring der mehr als 2 Server zu Hause hat wird sehr schnell merken dass so was wichtig ist um überhaupt rauszufinden was die kommt ein erzählen und wird eventuell kritisch sein könnte ja vielen Dank und viel Spaß mit ihren ja es ja schon angekündigt worden und geht einmal kurze Frage in die Runde wer betreibt stammenden Abfallmanagement von denen die hier sind ab was sind schon klar wir gucken mal in welchem Umfang das passiert und ob auch alle Möglichkeiten die so das moderner die moderne IT zur Verfügung stel eingesetzt werden und genau darum geht in diesem Vortrag es geht es um die D 6 warum will man das machen wie kann man das machen und was hilft einem dabei kurz zu mir mein Name ist ein Doberstein auf Twitter im und sonstigen bin ich und habe ja logisch zu finden an dem ich arbeite oder verdiene mein Geld seit über 17 Jahren damit IT-Systeme zu betreuen vornehmlich im Internet anzutreffen mit jeder Menge Benutzer und jeder Menge notfalls ich habe das große Glück dass ich am mit Open Source mein Geld verdiene ich bin Angestellter bei der Firma GWE lag die das Produkt Quelle AG entwickelt unter der kann deswegen Mehr sag mal aus dem Vollen schöpfen was dieses Thema angeht nur das sind unsere Hauptbasis ist zum klären einmal was eigentlich blockfrei sind nicht alle nicht oder nicht jedem ist das und denke mal klar die Wikipedia sagt dazu dass es seine automatisch geführt das Protokoll in dem ein System oder Prozesse auf einem System ihre Ereignisse reinschreiben das heißt grundsätzlich jede Aktion auf einem System hinterlässt buchen egal was ob es automatisch ist ob es User Interaktion des ist hinterlässt eine Art von Spuren und diese Spur zum Opfer zu finden wichtig ist halt auch das es und nicht nur das Betriebssystem selber ist sondern auch alle laufenden Prozesse
die es gibt es also sei seinen Einsatz aber ein Skript oder sonstiges hinterlässt seine Spuren das heißt ich kann ich feststelle in einem Notfall werden waren von wo auf andere Soße zugegriffen hat wir waren was versucht hat und genau das ist ein Nachweis zu finden und
das ist auch schon der Kern warum es eigentlich interessant dass sich diese ich schon vorhandenen Informationen genauer anzugucken Locks geben die Möglichkeit in genau Dinge zu prüfen im Nachgang zu geben in die Möglichkeit Zustände auch von Hardware oder von Software festzustellen und zwar passiv ohne dass dem ein Agent einer Überwachungssoftware laufen muss es sind so genannte Daten also sind es vorhanden sie werden geschrieben aber unter viele lassen Sie einfach besser mal links liegen ohne darauf zu gucken welche Möglichkeiten das Ganze eigentlich bietet ich hab ein kleines Beispiel das ist das Opfer eines meiner 1.
war genauer gesagt vom SSH dienen eingefärbt ist in Brot durch die Konfiguration bedingt erkennt der SSH Server es handelt sich wahrscheinlich um einen Angriff in das System das ist aufgrund der Konfiguration des ist es ja so was ihnen wird diese Erkennung gemacht und
in orange eingefärbt ich hoffe das kann man so einigermaßen hinten auch sehen sieht man dass ein Benutzer versucht hat sich am System anzumelden aber diese andererseits nicht existent das heißt wir haben erst mal grundsätzlich Informationen zur Systemsicherheit die Dieter gegeben sind aber es könnte es rein theoretisch ein lokaler Sarah Dienst oder ähnliches laufen der dieses Laubfall prüft und zum Beispiel die IP-Adresse aus liest am in eine Firewall schreibt und kurzzeitig sperrt da gibt's das Open-Source-Tool Ben wird gerne dafür eingesetzt um genau das zu erreichen damit es eben zur kein weiteres ausprobieren von User sein oder einen Boom voraus Angriff auf das Benutzerpasswort gibt kurz noch gesagt wenn jemand eine Frage hat ruhig dazwischen fragen es stört mich nicht unsere Leute geben die Stadt das also es grundsätzlich zu sagen wenn es das fallen nicht liebt sind diese Informationen nicht vorhanden das heißt ich weiß nicht was auf mein selber passiert ich weiß nicht ob ein ein Rohrbruchs Versuch stattgefunden hatte gerade stattfindet oder was meine Dienste tun grundsätzlich ist also sagen Urlaub falls es erst mal schlecht weil man will das ja eigentlich wissen genau über den Zustand seines Systems und selbst an wenn man seinen nur sein Arbeitsplatz betrachtet sein Arbeitsplatzrechner sein Laptop oder was auch immer man einsetzt es ist interessant weil viele Informationen sind im Abfall zu finden ob ich einen USB-Stick eingesteckt hat oder sonstiges kamen überein Opfer herausbekommen werden was das heißt es fängt beim Arbeitsplatzrechner an und hört beim Server auf denen auch wenn es gerade um Systemsicherheit geht in größeren Unternehmen kann es kritisch sein das kann verboten sein oder nicht erwünscht sein dass lokale Medien angesteckt werden oder benutzt werden und genau das wird in der Pfalz protokolliert wenn es aber keine Auswertungen salopp falls gibt weiß ich da drüber nichts das heißt es gibt Regeln im Unternehmen deren Befolgung ich aber eigentlich nicht kontrollieren kann als Beispiel in komplexen Umgebungen wenn es um mehrere Server gibt wenn es um Hunderte von Sarah geht eine große Applikation die läuft selbst erfahren oder sonstiges am Ende ist es eigentlich so dass er ohne Kenntnis der Log Files gleicht es so ziemlich allem ich sag mal blind durch die Straßen gehen wenn man sich diese lag falls sich an QC man hat zwar ein ungefähres Bauchgefühl was gerade eine Applikation passiert wie sich das Ganze verhält aufgrund von gerade akuten Verhaltensweisen des Systems aber es genaue Kenntnis darüber was passiert ist eigentlich vorhanden das heißt es gibt Bauchgefühl aber keine Kenntnis über das was gerade aktuell passiert ist über den Zustand was gibt es also für Möglichkeiten das Erste was automatisch auf jedem Linuxsystem auf jeden Fall auf fast jedem Linuxsystem passiert ist das lokale sammeln unter Linux ist es das lag in irgendeiner Ausführung das heißt es jetzt er es lag Angie Asus oder was auch immer das läuft im System dieses Thema Pfalz nehmen sondern an einer definierten Stelle nach definierten Regeln ablegt in neueren des Motion ARD mit System die gekommen ist seine die der diese Aufgabe übernimmt in großer Eile und unter Windows geht in das Event läuft alles herein ich hier betrachtet man nicht die Windows Seite in einem weiteren Vortrag geht das ist ein eigener Vortrag an sich was einfach noch wesentlich komplexer ist als unter Linux deswegen ein jeder den braucht was zentralisiert glaubt wir können danach nach dem Vortrag gerne mal zusammensetzen darüber aber dass wir das Ganze hier sprengen wenn ich das immer nebeneinander stellen würde nur als Hinweis so ein lokales sammeln wir haben also ein lokales noch mal was der geschrieben wird an den ein Ort
meistens Warlock da landet irgendwie alles drin ich kann also jetzt mir bekannte Tools die ich mehr oder minder gut beherrsche nutzen Dinge in diesem Abfalls zu suchen um Dinger herauszufiltern die ich nicht sehen will wie in diesem Fall das
sind bestimmte Dinge die ich weiß die vorhanden sind die rausgefiltert werden oder ich kann ganz gezielt nach bestimmten Ereignis oder den suchen aber letztlich ist es doch so dass diese Art der Auswertung nur davon abhängt welche er Fähigkeiten der einzelner hat der diese Auswertung durchgeführt oder ob es einen ein Wiki gibt indem er die Informationen drin steht wie dieses Überfall auszuführen zu filtern ist Zimmer sollten nach welchen Einträgen zu suchen ist um bestimmte Zustände zu erkennen oder auf welchen Zustände herausgefiltert werden müssen ich habe selbst schon so Auswertung ist Skripte wenn das mal gesehen 1 die wenn man sie wird über eine Seite gehen die alle möglich Zustände herausfiltern nur um alles was dem nicht entspricht sichtbar zu machen mit etwas Glück gibt es auch in Siegen Gruppe oder 1 alias dafür der das erleichtert aber im Endeffekt ist es so man muss sich einmal damit auseinandersetzen was denn der generische Zustand ist und hoffen dass alles andere dass die Filter gut genug sind dem eingebaut hat und dass alles andere eben zu dann das sichtbar wird
letztlich landet das immer wieder dabei das heißt es gibt einen Mitarbeiter der denkt
sich das kann doch nicht alles sein immer wieder diesen Einzeiler einzutippen der Worte meist in Pearl in eine Abart über er lesen kann wird auch benutzt das funktioniert alles war so lange bis der Mitarbeiter entweder längere Zeit in Urlaub und Elternzeit ist oder das Unternehmen verlässt dann funktioniert das ist wohl der
noch ein halbes Jahr lang benutzt es ist wieder ja das ist gut das läuft aber keiner versteht was es eigentlich tut das heißt es wird eigentlich nicht benutzt wir sind weder im Ursprungszustand da die Informationen die vorhanden sind werden kann nicht ausgewertet deswegen hat lokale sammeln Nachteile zum einen auch wenn der uns nicht erreichbar ist auf dem ich diese Log Files liegen habe aber dann kann ich mir das Laubfall nicht ankucken wenn der wenn die Festplatte gequetscht ist dann ist es Laubwald weg und ich kann nicht herausfinden warum denn eigentlich was ist das eigentliche Problem gewesen oder wenn der Host kompromittiert ist also das heißt wenn ein Angreifer sich Zugriff verschafft hat kann nicht nicht mehr herausfinden wie denn eigentlich also welche Spuren derjenigen System hinterlassen hat mal ganz davon abgesehen dass kompromittierte Systeme haben wahrscheinlich keine validen Locks mehr hat jeder der sich damit beschäftigt hat in Systeme einzubrechen ist die 1. Regel seine Spuren beseitigen das besteht darin erstmal falls wegzuschaffen zu löschen wie auch immer das heißt es gibt keine Spur mehr und außerdem das Problem es gibt nur lokal Einträge in dem blockfreie auf mit Aktionen oder auf Ereignisse die die zentral auf allen Systemen stattfinden hat man vielleicht gar kein Zugriff bis immer sehr erkennt die als solche gar nicht das Beispiel an dieser Stelle ist es gibt also Alsan Anwendung für jedes System im Netzwerk das nur Anwendung das heißt es gibt 2 Wege zum sagen wenn ein Weg wegfällt ist es erstmal nichts Schlimmes das heißt auch ein Monitoring wird nicht unbedingt darauf reagieren wenn ein Fahrrad weg bricht das ist eine lokale Meldung die auftritt nämlich war nichts mehr erst mal nicht kritisch was geht den 2. Weg aber in dem Moment wo klar wird dass dieser aber unter und zeitgleich auf allen Systemen stattgefunden hat hat man vielleicht ein Problem im San oder könnte auf die Idee kommen dass da etwas nicht richtig läuft und genau das ist der Punkt die man schwer nur erkennt wenn man nur lokale sammeln hat weil die Auswertung meist auch nur lokal läuft unter Linux ist wie gerade schon gesagt es ist lag eigentlich genau das was egal in welcher Ausführung in welcher Generation oder in welcher Bar Software genau das was dafür sorgt dass das Lobbying funktioniert das der könne seine Meldung schreiben kann dass die meisten Systeme nahm Prozess ihrer Sachen schreiben können können bietet mit sehr geringem Konfigurationsaufwand die Möglichkeit seine Locks über das Netzwerk an an zu schicken das heißt eigentlich kann man mit einem mit sehr geringem Aufwand mit dem Hinzufügen von einer Konfigurations Zeiler auf dem Client der Dedlocks liefern soll und einer Konfiguration Zeile auf dem System was die Docks entgegen nehmen soll zentralisierte Lobbying betreiben man muss dann zwar noch konfigurieren wie das Ganze im Dateisystem abgelegt werden sollte auf dem Zielsystem aber prinzipielle hat man dann erst mal ja zentrales Login ich habe Server auf dem alle anderen Systeme ihren Abfall 10 schicken das heißt ich habe dieses Problem was ursprünglich angesprochen ist der Haus ist nicht erreichbar das System kompromittiert haben gibt es nicht mehr ich kann immer auf diese Abfalls zugreifen und Datenauswertung machen aber
wir haben in nur natürlich wo gehen er die will genau also die Frage war jetzt ob auch ein sowohl auf dem lokalen System als auf dem zentralen System möglich ist und genau das ist möglich weil so es lag egal in welcher er Mutationen welcher die meine Ausführungen die läuft es es möglich multiple Ziele anzugeben ich könnte da auch an 5 Remote Faustschlägen lokale nur bestimmte Informationsschreiben und bestimmt Schwedens an bestimmte Hausse 10. das heißt ich habe einen auf dem Block Informationen sind ich habe einen anderen auf dem können Informationen liegen das ist sehr feingranulare darstellbar auch der Transportweg es einzeln pro Ziel definiert war das heißt Standards ist lag kann entweder Juli Pilati sieht sprechen je nachdem welche die man Software eingesetzt wird kann das noch verschlüsselt laufen oder nicht aber das hängt immer wieder davon ab welche Software eben zum Einsatz kommt ach Marx noch 3 Worte zu lag steht dann sagen kommt noch danke bewirken wird aber wie gesagt bei der Auswertung haben wieder das gleiche Problem wie bei der lokalen wie beim lokalen ablegen erlaubt falls das ganze System noch komplexer geworden weil ich nicht nur die lokalen falls hab den in einer Art und Weise auf den Systemen liegen mehr oder minder logisch ihre Informationen weg schreiben sondern ich hab das auch noch für Multi Belarus auf einem zentralen System das heißt Mehr Wege Ex die das auswertete wird um einiges komplexer ist es möglich und auch genau so ein einfaches am zentrales Slawin reicht zum Beispiel aus um eine Zertifizierung nach ISO oder alte Standards zu bekommen das ist genau das was ausreicht ist liegt an einem zentralen Ort es wieder abgelegt man könnte darauf zugreifen machen wollte das reicht da wird man zertifiziert wird reicht dieser 9 Tausend 1 oder 7 20 0 1 oder auch wenn man die alte Prozess also die amerikanischen Zertifizierung anstrebt es genau das das reicht vollkommen aus zentrales sorgen an die moderner IT der Zirkus bewegt sich ja relativ schnell weiter es gibt relativ viele Entwicklungen die man Mehr n im Web Umfeld sich anschaut und eigentlich her ist man ja doof als ein tief wird als Infrastruktur verantwortlich als atmen hören sich nicht versucht ein bisschen was abzugucken was für ne Webseite mit mehreren Millionen Benutzern funktioniert funktioniert auch für mich mit Mainzer es ist im Prinzip das Gleiche ist egal ob da Interaktion durch Benutzer entstehen oder Interaktion ist aber deswegen wirst du eigentlich cool besteht
das Ganze an an einen zentralen Server der ist in einer Datenbank speichert und es gibt von den dafür am besten aber noch ein Bett und je Kommandozeile können die wenigsten
außerdem ist so ein Wert von n kann man irgendwie dann doch besser in den generischen Manager vorführen weil das ist was was sehr versteckt in grundsätzlich ist es so dass genau dieser war dieser Schritt des vor mehreren Jahren oder wer die Quest ist vor mehreren Jahren gestartet genau das zu erreichen im Moment geht es im Umfeld genau 2 Projekte die das machen die genau diese Sachen bieten das eine ist der sogenannte exec den ist auch hier als Aussteller da wir zählen gerne über ihre Gewehre Methodiken um das Ganze reinzubringen das grundsätzliche erklär ich aber in diesem Vortrag und es gibt einmal Quelle AG haben und was eben von der daraus entstanden Firma weiter gepflegt wird es gibt natürlich auch kommerzielle Tools also wenn man ganz viel Geld in die Hand nehmen will der wohl bekannteste Vertreter davon ist das klang am gibt noch jede Menge anderer aber reine Open-Source-Tools sie auf vergittert geflickt werden WE gibt es nur diese beiden derzeit die ernst zu nehmen in der Produktion Einsatz aus und beide haben eine gemeinsame Basis und zwar ist es Elastic Search als Datenbank das De-facto-Standard einfach weil nur Dokumente und Dokumenten basierte Datenbank ist die nach ist eher eine hat die But mit großen Datenmengen umgehen kann es gibt natürlich abgerissen Größen Täterarbeit größten Probleme aber grundsätzlich ist es so dass es eine leicht zu skalierende Datenbank Lösung mit der man noch Management betreiben kann beziehungsweise die man dafür einsetzen kann großer Vorteil ist es ist der relativ leicht zu lernen Quelle Soundtracks gegeben sehen auffällt Basis wie sagt dass in Betrieb nehmen ist relativ ist sehr einfach möglich auch im Cluster Betrieb braucht man keine 10 Minuten ohne vorheriges Wissen um den Cluster produktiv zu haben also das heißt insofern zu starten und muss 2 Konfigurationsparameter anpassen danach läuft das und kann gefüttert werden aber es lässt sich sehr umfangreich konfigurieren das heißt alles was man sich vorstellen kann oder vorstellen möchte wenn es auch um die Datensicherheit geht das Verteilen der Daten auf unterschiedliche Bioregionen es ist damit möglich das heißt es lässt sich alles ab bilden was man sich ähnlich vorstellen kann angefangen von dem Szenario dass man sagt ich habe 2 Server die sich in 2 unterschiedlichen befinden und ich möchte dass die Daten jeweils auf dem eigenen Server und auf dem anderen Server vorhanden sind und diese beiden Macs sind einmal in Köln vorhanden und einmal in Frankfurt nicht möchte dass das gespielt ist das lässt sich sehr einfach konfigurieren alles funktioniert nicht immer hundertprozentig aber man kann sich drauf verlassen es funktioniert das hat selbst eine Mechanismen die gut sind dieser das einfach zu eskalieren und selbst einmal weit an Daten habe ich bei Kunden schon gesehen die damit verwaltet werden das ist möglich die verwiesen Tags ist auffällt was ist möglich das heißt wie hier zu sehen die Frage nach einem Haus mich fragen nach einem Programm das Suchergebnis wird technisch an der SAP geschickt und kann als 1. zurück und wird auch als solcher hingeschickt aber dann haben wir das Problem auf der Kommandozeile mit der säßen und West abgehen zu kommunizieren ist nicht für jeden was ist wegen der Zeit der Oberflächen für die genau das machen das eine ist dieser Wähler so sieht es aus es gibt ein Suchfeld hier an der in der 2. Zeile mit den Grünen man kann ein der Sachen eingeben und man sieht sofort Ergebnis und 1. Craven hat er das Gleiche gilt vom wenn das exakt nennt sich die Berner am der große Unterschied eigentlich ist das im SDK gibt es für jede Aufgabe ein eigenes Tool und dieses Tool ist Selbstständig zu konfigurieren hat eine eigene Konfiguration Syntax am muss eigenständig gepflegt werden und die Verdrahtung muss durch den Benutzer erfolgen das heißt es ist sehr mächtig für denjenigen der auf der 1 zu 1 der König ist der programmatisch Dinge ausdrücken kann wird aber ein Problem für denjenigen der vielleicht gar nicht mal weiß was für unabweisbar den ankommen das heißt in dem Moment wo ich anfange einloggt Management zu zentralisieren ist es so dass meiner Erfahrung nach immer immer noch neue Fälle
auftauchen über die man vorher gar nicht nachgedacht hat man hat am Anfang über das gezeigte Beispiel dass das da noch ins nachgedacht und es daran Anmeldung auf die dieses Schema nicht reinpassen da kannst günstiger sein das Ganze in einer Oberfläche zu betrachten und zu bearbeiten was
dann aber noch machen kann eben der weil es so viele verschiedene Log pfeift geht in die auftauchen auch in ein Standardsystem kam oder sollte auf jeden Fall eine Anreicherung passieren
Anreicherung oder beziehen sei auch eine Normalisierung wir wie will ja nur er ich ihre das ist der Weg der geht also die Frage war wie die Daten 1. 6 das Einkommen das ist jetzt eigentlich genau das was jetzt gerade passiert also das heißt ich bin man halten steht zurückgegangen und aber eigentlich dieses die das Bearbeiten der Daten erfolgt auf dem Weg in Elastic Search 1 das heißt ich hab die von der Logik her ich hab den Speicherort es erklärt bevor ich den Weg dahin erklärt hat genau also sondern es finden Normalisierung statt das heißt dieses Einkommen ab weil wir jetzt in Felder eingeteilt die Werte werden reingeschrieben am es kann eine Filterung stattfinden oder auch wie gesagt nach Anreicherung der eine mögliche Anreicherung wäre zum Beispiel Zeitstempel zu verändern oder ist es nur Normalisierung das heißt ich habe gelaufen mit Judy sie was eigentlich jeder gute so sehr sollte aber es gibt halt 3 Stücke laufen auf ct warum auch immer ich kann sich verändern weil die Applikation das braucht dann bietet mir das dieser Weg der Transportweg genau die Möglichkeit diese Daten wieder auf SV transformieren und damit habe ich einen einheitlichen Zeit zu schenken als Beispiel ja es ist so wenn man den Ex deckt betrachtet ist es so dass das Ganze durch den Lachs der als Schipper gemacht wird und Backslashes quasi 1 ein dienen der die Möglichkeit bietet die Dinge zum manipulieren zu filtern oder sonstiges und bei Quelle AG ist es so dass dies alles in einem Tool gebündelt ist das heißt es ist ein Tool was den Input liefert was die Daten gegen Inter verarbeitet und abspeichert daher haben Leitindex Tag ist es so dass Blocks der ich als zusätzliche Komponente da hinzugefügt der vorhanden sein muss es aber nicht so dass sich das gegenseitig ausschließt man kann auch wenn man zum Beispiel da irgendwo im Internet schöne Faserverlaufes das befunden hatte man unbedingt einsetzen will um zum Beispiel dem Postfix aber damit rein zu Tode kann man den natürlich auch vor Wherlock schalten also das heißt es ist eine Verdrahtung der verschiedenen Tools so möglich wie man das braucht also das heißt keines dieser Tools ist das schöner umsonst schreibt ein vor in welcher Reihenfolge man Dinge zu tun hat sondern man verdrahtet die so wie man sie haben will gucken wir uns also das Bild von gerade an das es so aber Schreiben des Islam an den zentralen aus weiterhin wird es lag benutzt zur Datenübertragungen auf dem zentralen Haus des ein Meldung in Tod oder eingeloggt ist aber läuft da ein Dienst an der ein Input bereitstellt für Syslog Daten der die entgegennimmt und weil er weiß es handelt sich um syslogd Daten kennt er das Format in dem diese Daten ankommen definiert FC 54 24 bis genau definiert was wie und wozu zu stehen hat das passiert dann in dem Moment das heißt in der Eigenwille aber weiß es kommendes Daten ich weiß schon welche Fehler vorhanden sind und ich schreibe die Informationen genau in dieses in die Felder hinein und mache sie durchsuchbar beziehungsweise injizieren sehen und macht sie darstellbar in dem das Beispiel von gerade noch mal das ist genau das gleiche Abfall so so es ist Haar versuchte man einzubrechen und deren IP-Adresse dazu gepasst und angereichert überquellen ob sie das Ganze jetzt so aus das ist ein bisschen klein ich hab oben auf jeden Fall ne extrahierte IP-Adressen ich hab von der extrahierten IP-Adresse die Geo-Daten n einige anderer Information die im Syslog vorhanden sind aber grundsätzlich ist es ja schon mal was womit man mehr anfangen kann auch wenn man vom der Sicherheit auskommen das heißt ich bin Admin der versucht herauszufinden was passiert einem man
jetzt gerade oder von wo gibt es Zugriff vor und anhand der IP-Adresse unter angereicherten Daten in der die Rohdaten kann ich mir mehr sorgen das heißt
ich sehe auf einmal oder ich es gibt die Möglichkeit dass sich am der Erdoberfläche hat einen an der Sport Mehr anzeigen lassen in dem nur nur mehr ist und es kommen .punkt zu von wurde zur verfolgen das 1 jetzt nicht so interessant aber schauen uns das Ganze mal für
eine Stunde an es ist ein interessanter zu sehen von wurden überall Zugriff erfolgen das ist jetzt wie gesagt nur vom 1. hast aber hätt ich noch wer welche und weiß ich was alles mit dazu genommen wird ganz noch ein bisschen größer aber wir sehen in Europa so ein Cluster und
das heißt dass rein so man es halt auch interessant ich hab nur ungefähre Ahnung ich kann ebenso erkennen es sind Zugriff von Bereichen die nicht erwartet sind eigentlich darum geht es Dinge herauszufiltern auch optisch weil der Mensch schon mal SR 1 wieso er das nur Wesen ist funktioniert halt besser und einfacher weil ich weiß jetzt ja wir gibt es neue Optionen um zum Beispiel VPN Endpoints auszufiltern weil sonst verfälscht Wasser das komplett klar weil du kannst ja mit über die Filterung und die verschiedenen Felder die hinzufügen kannst du kannst auch eine Bedingung knüpfen wo ganze sagen fortwährende also oder einem im eigenen Netzwerk wird das über IP ist die nicht im eigenen oder dem eigenen Netzwerk sind liebt das 1 fällt auf dass dieser Kennung läuft nicht gemacht das bleibt dir überlassen so dass der Filter war alle so ist zum Beispiel auch relativ einfach herauszubekommen gibt es Zugriff auf meine interne Webseite von wo anders als über die erwarteten Standorte das ist möglich und die Auflösung ja hier wo ich gerade sagt hatten die die Auflösung der Videodaten am hab ich jetzt in dem Fall über den Ex-Mainzer Fly die IP die weg genommen wenn man dafür zahlt wenn die noch genauer es gibt aber auch nur in die freie Datenbank die vom Richter an den Verein gebunden hat das heißt man kann einfach auf die nächste meinen Webseite gehen sich eine Datenbank unterlagen die entsprechend einbinden egal ob Kerzenwachs selbst oder enden in Villach und genau das passiert dann da hinten sie und die ganzen verschiedenen Feldern nicht so gut wie ja n ja klar also die Frage war was mit nicht standardisierten Abfalls passiert ich spreche die ganze Zeit nur von syslog was halt mit nicht passierte das wo ich ab sein mit ja wir haben also wir Datenbanken
winterfest und sind damit eigentlich im Infrastrukturbereich waren auf einmal auf einer Ebene die eigentlich nur im ich daheim im User Kontext im im Becken in Front in für den Benutzer für den eigentlichen Nutzer vorhanden sind und unsere Erfahrung ist eigentlich dass genau das dazu führt dass mit diesen Daten überhaupt gearbeitet wird alles heißt in dem Moment wo ich mich spielerisch durch die Daten bewegen kann entstehen auch neue Ideen was denn überhaupt herausbekommen werden kann was denn nun ich war also die oder besser gesagt es kristallisiert sich eine Frage heraus die ich mir überhaupt Stelle in dem Moment wo ich die Laubwald zur Verfügung habe und damit spielen kann wir haben also den Weg über ein wie auch immer den 1. 6 Search genau wie die Fragestellung gerade war es gibt aber noch ganz viele andere Sachen Dinge die nicht dieses Lob sprechen die sich nicht an Standards halten Applikationen die er selbstgeschrieben sind und vielleicht gar nicht glauben gibt es auch als Beispiel für Hardware nur um das gesagt zu haben wäre zum Beispiel einen Sanität bleibe wie Sensoren die sich irgendwo im Haus befinden oder die Kaffeemaschine die sagt wann wieder aufgefüllt werden muss sind alles Möglichkeiten Applikationen können selbst geschriebene sachen seines kann Mehr man SAP sein oder sonstiges was Lokal irgendwo irgendwelche Daten den schreibt er welches deckt für ist es die aber eigentlich wenig im Zugriff sind also das heißt niemand weiß davon was es ist oder das ist vorhanden ist ja um die Frage aufzugreifen was da eigentlich passiert mit Applikationen in dem Fall die die eben keine Syslog sprechen also nicht die dieses an Standards benutzen um sachen zu locken gibt es im Prinzip 2 Möglichkeiten das eine ist Sie schreiben ein eigenes Laubfall David Menschen haben und beim war die Frage als überall gibt es ist unzählige Möglichkeiten um bis in den Glauben zu betreiben von Elastic gibt die Bits das sind kleine Ingo geschriebene Programme die darauf spezialisiert sind noch falls zu übertragen man kann Locks des selber einsetzen um genau das zu erreichen Ochs der Schwester war bisschen umfangreicher und was auch die Ressourcen die benötigten Ressourcen angeht aber man kann ja nix lockt nutzen oder man nimmt sein ich schon vorhandenen Syslog dienen und sagt ihm da ist Abfall nehmen das trag das dahin das funktioniert oder die Applikation lernt selber zu werden das heißt es gibt aber morgens Standards dem der mittlerweile in fast jeder Programmiersprache als leider wie vorhanden ist es der Geld stammen hat das ist so will auch externe und hat einen ganz ganz große Vorteile und es war er hat die Möglichkeit Modell 1 zu machen und was gerade für Java-Entwickler sehr schönes haben und das ist die Möglichkeit gegeben das man das 1024 Byte wimmelt von syslog über die steigen kann das heißt eine Lok Nachricht kann auch mal Nahles in D groß sein wenn notwendig das Ganze funktioniert natürlich auch im Netz der problemlos denn Jungs verlassen kann genau das adaptiert aber das funktioniert komme zur Hardware auch das ist genau die gleiche Möglichkeit entweder die Hardware kann so Slomka dann funktioniert der normale Weg oder die Hardware kann nur irgendetwas locken das heißt es gibt Namen zu in der Herr hatte geschickt werden kann oder was auch immer also irgendetwas proprietäres auch das kann man verarbeiten man kann egal in welchen Steak ein Input bereitstellen der dieses schien entgegennimmt da ist und dann standardisiert und normalisiert wieder da wird oder in darstellt und auswertbar macht überhaupt das heißt kucken und so komplex ist die man stellt fest es wenn immer mehr Transportwege die auf einmal
hinzukommen es müssen vielleicht auch mal Transportwege gefunden werden um Systeme über das Internet anzubinden das heißt man will eigentliche Verschlüsselung auf dem 1. Transportweg haben man als lokale Netz schon wieder verlassen
hat Warteschlangen werden außerdem auch noch was tolles mit O es in dem Moment gut wenn Mehr unerwartete Ereignisse eintreten aber die Nachrichten die Menge der Nachrichten aber sonst dafür sorgen kann dass der Transportweg entweder die Applikation oder des die hat wir selber in ihren Betrieb stört haben oder aber das Auswertungsprogramm hinten überlastet deswegen ist möglich oder zu zu immer gute Idee außerdem das parallel abarbeiten ab einer gewissen Zahl von Nachrichten trägt so von ein paar Tausend in der Sekunde mehrere 10 Tausend ist es vielleicht besser nicht nur einen paar zu haben sondern mehrere und guckt man sich dann so Sommer strukturarmen kann es ganz schnell komplex werden Herr sind dem Beispiel ein Cluster der seine Nachrichten über eine Kafka Kilo 1 für wird ein anderen der wird
entführen uns und wir wohnen in einem Mehr Cluster der über Knox ich als cyper wie RTL es entführt über das Netz über das Internet seine Daten ein liefert ist alles möglich das heißt alle Tools
lassen sich so wie man es braucht in seiner Umgebung miteinander kombinieren aber seien wir ehrlich es ist ziemlich viel Aufwand etwas zu lösen von dem man gar nicht wusste dass es ein Problem ist oder von dem man gar nicht angenommen hat das man da braucht also warum lassen alles beim Alten vergessen dass er sich jetzt alles erzählt hat nach Hause und lassen es so der Grund warum wir es nicht machen sollte sind einfach die denn es setzt die man davon hält Nordtveit sind meist erfahren können genutzt werden um passiv über Zustände im System oder von diesen informiert zu werden aber es wird keiner zu sich Agent auf dem System benötigt ist ein klassisches Monitoring hat das klassische Monitoring kann aber auch angebunden werden um jetzt auf zentrale Events zu reagieren das heißt das wegbrechende San Connect schon der einsam Connect auf allen Haus kamen zu dem alle dort führen soll das erkannt werden kann durch das Monitoring außerdem ist es so dass natürlich dass die Sicherheit wird letztlich erhöht also so nicht jeder braucht mehr Zugriff auf dieses Thema und Auswertung zu machen das heißt auch der Admin muss ich nicht endlich auf jeden vor allem System anmelden oder wie Skript oder wie auch immer um eine Auswertung zu fahren das heißt sie Angst um ist natürlich also man muss um für Schwellwert aber o Alarmierung muss man natürlich erst mal wissen was der Normalzustand ist deswegen braucht man ja auch 1. zentrale Augen beobachte Normalwert um dann darauf die Alarmierung zu sich zu es ist halt so aber es gibt auch keine umständlichen Kopier Aktionen Mehr von Gigabyte Weise Log Files von den Live Applikationssystemen auf der Entwicklungs Maschinen damit Entwickler die Blagen kann auf den 1. Fehler aufgetreten ist aber es gibt die automatische Alarmierung über Email oder http korrekt ins Nagy aus oder Eisinger ohne Probleme es sind außerdem der Post Mortem möglich über die gesamte Netzwerkinfrastruktur am auch wenn die nicht läuft das heißt wenn ich das zentrale Lobbying zum Beispiel intern Betreiber ist es so dass sich die Infrastruktur die sich im Netz irgendwo im Rechenzentrum befindet kann ich die untersuchen ohne dass ich direkten Zugriff darauf haben auch zum Beispiel weil der Provider uns abgeklemmt hat weil unsere Umgebung angeblich DoS-Attacken fährt ist mir egal ich guck mal einen noch falls was das sein könnte die sind ja jetzt zentral vorhanden ich ja ja nein ja auch so nicht nur die Nummer 1 der Welt und wie man es machen die ja also die Frage ist Zugriffsverwaltung oder ist eher als auf genau diese aggregierten Daten das ist möglich in beiden Sex bei ist die Möglichkeit gegeben über überall da wo er die Single sein und oder sonstiges Rollen zu vergeben die auf bestimmte Information zugreifen können haben wir Interesse daran hat ich kann das gerne nach einmal zeigen aber ich hab es absichtlich keine Live-Demo eingebaut weil ich weiß das geht immer schief und das ich zeigt das gerne für jeden der Interesse hat im im Nachgang mal ist es möglich auch Mac Steak ist es möglich genau das zu erreichen was es heißt dass sich bestimmen kann wer auf welche Daten zugreifen kann auch in welchem Zustand also das heißt werden wollen Management ich kann das nur schwer erlaubt ist es in der Tat schon gibt aber da war ja der Ex der kleine hinterher das ist wirklich keine Benutzer oder keine wird in dem Sinne gab genau das es mit dem neuen Release ist das vorhanden bei einem exec also auch Benutzern Rollen Verwaltung muss man allerdings das haben bis das Plug-in kaufen aber das Shield klagen was genau diese Möglichkeit bietest das ist er kann ich Ihnen ich komme und wo ich gemacht Herr auch auch das sollte also auch das wenn gesehen oder anonymisieren von Daten ist über die Filtermechanismen ohne Probleme möglich so dass auch jeden er einen gesetzlichen Vorgaben geschaffen vom wurde alle gesetzlichen Vorschriften quasi befolgt werden können genauso ist es auch mit der Länge der Daten also das heißt wie lange diese vorgehalten werden genau das ist auch zentral zu steuern da drüber und die ja also wir haben die Transparenz wir haben die prinzipielle Sicherheit wir haben die Einfachheit und wir haben aber Reporting Möglichkeiten geschaffen ich meine gut hier sitzen glaub ich vornehmlich in welcher ich sag mal Techniker in Anführungsstrichen weil die sich mehr oder minder tief mit der Materie beschäftigen und für die das die auch gerne sich Zahlen gucken die auch Zahlen erfassen können aber der durchschnitts Manager will einigen Grafik haben also machen was vor jeder muss sich immer in welche Excel Grafiken erstellen oder weiß ich was immer Strecken und genau das ist mit einem zentralisierten Tour halt recht einfach möglich entweder bietet die Oberfläche genau das an das sich die Daten die dich vorhanden haben wir grafisch aufarbeiten kann n Reporting erstellen kann oder aber ich Kandidaten exportieren das heißt nach denen sie gefällt hat anonymisiert oder weiterverarbeitet worden sind kann ich die zentralisiert exportieren um sie dann dem zahlen mal Künstler zu übergeben der daraus irgendwelche Reportings erstellt auch die brauche
man für Zertifizierungen das heißt es kann es muss die Möglichkeit geben zum Beispiel eine der Anforderungen ist es heraus zu bekommen wer sich waren von wo als Administrator auf dem System angemeldet hat ist gängiger vor man erstellen muss aber genau das sagen passiert automatisch es ist ja vorhanden also das heißt Informationen sind alle vorhanden ich hab die Information Lock-in Information von allen Systemen und das heißt es ist im Prinzip ein Query auf die Elastic Search Datenbank im Hintergrund und ich hab das Ergebnis und der Redford für den ich vorher über je nachdem wie viel es aber man hat gehen musste ja es auf einmal innerhalb von Sekunden erstellt eigentlich auch in den Formaten ins gewünscht wird ja und damit sind wir eigentlich am Ende und ich sie wie gesagt für Fragen zur Verfügung alles was ihr wollt ich zeige auch gerne gleich einzeln die noch bestimmte Komponente die ich jetzt live nicht zeigen wollte ansonsten auf Twitter zu finden der für eine Frage haben wenn die Verbindung abgerissen ist von irgendwelchen Satellitensystemen zum zentralen locken zur oder derzeit zentrales vorbei ist nicht da die geht standardmäßig Syslog oder andere Systeme damit wird es zwischengespeicherten beim nächsten Verfügbarkeit gespielt oder muss man sich selbst darum kümmern genau wird genau das letzte der Fall also muss im Prinzip selber darum kümmern und selber sich Mittel und Wege schaffen deswegen vorhin das Bild wo ich die Kilos mit eingebaut hat in der gängige Weg ist zum einen den es lag die man so zu konfigurieren dass er pro Fahrt zur kritischen übertragen die City zu benutzen am dann in irgendeiner Art und Weise einen Tjurin einzubauen ob das jetzt über eine eigene eine eigene Software gelöst ist oder aber in indem sie es wird die man selber bleibt einem selbst überlassen aber gängig ist am was ich auch gerne demonstrieren kann zum Beispiel der Anbindung über eine werdet endlich oder sonstiges also das heißt das Satellitensystem .punkt seine Daten in A 1 Kion die von diesen Satellitensystem erreichbar ist und dass zentrales System ließ die Sachen dann aus es gibt auch nen Cognac eigenen Blocks der Schüler oder Abschied war glaube ich hieß früher mal irgendwas mit Holzhacker ja das war der ursprüngliche Name nein also es ist es ist so wir haben aber bei bei Quelle hatten wir eine Zeitlang entweder Kollektor gebaut das war auch ein Java die mit der nichts anderes tat als notfalls auszulesen und die an die Zentrale zu schicken haben uns dann aber dagegen entschieden den weiterzuentwickeln haben uns aber deswegen dafür entschieden weil die Firma Elastic in die Bits geschaffen hat die kleine Ingo geschriebene Stück war die ich spezialisiert sind auf bestimmte Typen das heißt es gibt dann aber Arbeit der darauf spezialisiert ist Windows 7 Clock entgegenzunehmen es gibt man feilbietet der halt eben zu einem Notfall entgegennimmt und weiterschickt haben oder es gibt einen so genannten top geht der Hals ist dem Metriken nimmt und an eine zentrale schickt oder auch der Netzwerkdaten entgegennimmt und weiterschickt und das was wir gemacht haben ist wir haben jetzt das ist seit Ca das heißt es gibt in der Web-Oberfläche von gelockt lockt die Möglichkeit diese Bits die man zentral über eine Web-GUI zu Staaten zu konfigurieren einfach nutzbar zu machen und man muss nicht mehr auf jedes einzelne System auf dem Anbieter läuft gehen das konfigurieren und den bieten EU-Staaten sondern hat quasi eine zentralisierte Oberfläche über die genau die Konfiguration erfolgt erfahren kann das Mikro ich hab noch ne Frage die sich anschließt an die Schwellenwerte gibt es ernstzunehmende Systeme mit denen man dann sozusagen selbstlernende Schwellenwerte implementieren kann ja des gibt es ist aber hab ich auch live gesehen ist es nicht Standard vom einem der vorgestellten 6 es geht Leute die das auch auf geht hat online gestellt haben und wo genau das erfolgt also im Prinzip das ist etwas was man pro Meter es zu als zum Monitoring auch anbietet was es heißt selbstlernende Algorithmen die feststellen wie ist denn die normal Auslastung und alles melden was eben nicht da reinkommt das sind Ansätze die diesen interessant wir haben einfach nicht die man Trauer und das kann auch so umzusetzen wie wir das gerne hätten aber wir nehmen Vorschläge gerne entgegen also aufgeht hat mich erstellen Feature Request die kucken was geht hier sonst noch Fragen das war bei wie Frederick extra zum muss sie zur Indizierung passieren oder kann die kann auch zur Laufzeit gemacht dann würde das das ist wirklich Bundesbank wer also das heißt die Extraktion der verschiedenen Felder erfolgt eigentlich während des Transportes also das heißt kurz bevor sie abgespeichert werden also im Prinzip genau das Gleiche was was ist lang kann auch tut es biete sich hat prinzipiell an einer Normalisierung so früh wie möglich ist viel zu machen das heißt in dem Moment wo ich die Daten ein Schipper übergebe eventuell schon die Felder aufzutrennen und ist den einen einfachen 6. Schwenk der zu Transport zum Transport benutzt wird und dann mit Loks der oder Queller halt eben weiterverarbeitet wird und erst am Ende wird das Ganze am Ende das ist als speichert das heißt die Extraktion erfolgt im Prinzip kurz vor dem Abspeichern ja wenn keine Fragen gibt dann bedanke ich mich für die rege Zuhörerschaft und so munter
Internet
Aktion <Informatik>
Open Source
Betriebssystem
HTTP
Hausdorff-Raum
Umfang
Computeranimation
Menge
Twitter <Softwareplattform>
Prozess <Informatik>
Rundung
Server
Spur <Informatik>
Vorlesung/Konferenz
Virenscanner
Hardware
Software
Zustand
Spur <Informatik>
Information
Kerndarstellung
Agent <Informatik>
Betriebssystem
Computeranimation
Firewall
Stellenring
Netzadresse
Computeranimation
Logdatei
LINUX
Dienst <Informatik>
Bewegung
Notebook-Computer
Arbeitsplatzcomputer
Server
Vorlesung/Konferenz
Information
Konfigurationsraum
WINDOWS <Programm>
USB-Stick
Zustand
Skript <Programm>
Information
Wiki
Computeranimation
Dateisystem
Punkt
Aktion <Informatik>
Momentenproblem
Login
Computeranimation
Großrechner
Logdatei
LINUX
Client
Festplatte
Software
Server
Spur <Informatik>
Wort <Informatik>
Information
Zugriff
Systems <München>
Konfigurationsraum
Datenbank
Datenbank
p-Block
Web-Seite
Computeranimation
Multiplikation
Software
Server
Wort <Informatik>
Information
Softwareentwickler
Systems <München>
Standardabweichung
Wurm <Informatik>
Mathematische Größe
Zentrische Streckung
Momentenproblem
Menge
Eigenwert
Datenbank
Server
Soundtrack <Programm>
Vorlesung/Konferenz
Wahrscheinlichkeitsverteilung
Datensicherung
Konfigurationsraum
Computeranimation
Dienst <Informatik>
Internet
Momentenproblem
Komponente <Software>
Filterung <Stochastik>
Datentransfer
Zeitstempel
p-Block
Information
Ein-Ausgabe
Filterung <Stochastik>
Netzadresse
Postfix <Programm>
Computeranimation
Rohdaten
Zugriff
Netzadresse
Computeranimation
Programmiersprache
Ebene
Videodat
Bit
Hardware
Momentenproblem
Datenhaltung
Programm
Datenbank
Stellenring
Ein-Ausgabe
Web-Seite
Computeranimation
Eigenwert
Anwendungssoftware
Vorlesung/Konferenz
Zugriff
Filterung <Stochastik>
Array <Informatik>
Standardabweichung
Internet
Chiffrierung
Menge
Momentenproblem
Vorlesung/Konferenz
Warteschlange
Lokales Netz
Systems <München>
Zahl
Computeranimation
Länge
Aktion <Informatik>
Rollbewegung
Provider
Computeranimation
Rechenzentrum
Zustand
Luenberger-Beobachter
Vorlesung/Konferenz
TOUR <Programm>
Zugriff
Softwareentwickler
E-Mail
DoS-Attacke
Internet
Laufzeitsystem
knoX
Einfache Genauigkeit
Plug in
Hausdorff-Raum
Agent <Informatik>
Zahl
Ereignishorizont
Logdatei
Information
EXCEL
Satellitensystem
Bit
Typ <Informatik>
Momentenproblem
Laufzeit
Verfügbarkeit
Anbindung <Informatik>
Computeranimation
Mittelungsverfahren
Algorithmus
Eigenwert
Software
Meter
Retrievalsprache
Vorlesung/Konferenz
Transport
Indizierung <Informatik>
Konfigurationsraum
Linienelement
Systemverwaltung
p-Block
Twitter <Softwareplattform>
Komponente <Software>
Dateiformat
Information
Systems <München>
WINDOWS <Programm>
Aggregatzustand

Metadaten

Formale Metadaten

Titel take care of your logs
Serientitel FrOSCon 2016
Autor Doberstein, Jan
Lizenz CC-Namensnennung 3.0 Unported:
Sie dürfen das Werk bzw. den Inhalt zu jedem legalen Zweck nutzen, verändern und in unveränderter oder veränderter Form vervielfältigen, verbreiten und öffentlich zugänglich machen, sofern Sie den Namen des Autors/Rechteinhabers in der von ihm festgelegten Weise nennen.
DOI 10.5446/32432
Herausgeber Free and Open Source software Conference (FrOSCon) e.V.
Erscheinungsjahr 2016
Sprache Deutsch

Inhaltliche Metadaten

Fachgebiet Informatik
Abstract Warum sollte ich vergänglichen und unnützen Daten Aufmerksamkeit widmen? Warum zusätzliche Ressourcen aufwenden um diese zentral zu sammeln?

Ähnliche Filme

Loading...