Femton maskiner. Femton loggkataloger. Ingen av dem l\u00e4ser sig sj\u00e4lv.<\/p>\n\n\n\n
Loggar har en egendomlig egenskap: de \u00e4r v\u00e4rdel\u00f6sa exakt d\u00e4r de ligger. S\u00e5 l\u00e4nge en logg bara finns p\u00e5 maskinen den beskriver kan man bara l\u00e4sa den genom att veta i f\u00f6rv\u00e4g vilken maskin som hade problemet \u2014 vilket \u00e4r den information man saknar n\u00e4r n\u00e5got \u00e4r fel.<\/p>\n\n\n\n
F\u00f6rsta steget var att ta reda p\u00e5 vad som faktiskt skickade n\u00e5gonstans. Resultatet var talande: en enda server<\/strong> vidarebefordrade sina loggar. Alla andra \u2014 lastbalanseraren, \u00f6vervakningsservern, samtliga hypervisorer, applikationsservrarna \u2014 skrev bara lokalt.<\/p>\n\n\n\n V\u00e4rre: den mottagande servern vidarebefordrade i sin tur till tv\u00e5 adresser, varav en tillh\u00f6rde ett system som inte fanns l\u00e4ngre. Den hade skickat loggar ut i tomma intet i m\u00e5nader utan att n\u00e5gon m\u00e4rkt det, eftersom ingenting n\u00e5gonsin klagar \u00f6ver att inte bli lyssnad p\u00e5.<\/p>\n\n\n\n Flera av hypervisorerna saknade dessutom loggtj\u00e4nsten helt. De hade bara systemets egen journal, som inte skickar n\u00e5got vidare. Det \u00e4r standard p\u00e5 moderna installationer och det \u00e4r l\u00e4tt att missa: en maskin utan den klassiska loggtj\u00e4nsten \u00e4r inte tyst av ondska, den \u00e4r tyst f\u00f6r att ingen bett den prata.<\/p>\n\n\n\n Sj\u00e4lva konfigurationen \u00e4r tv\u00e5 rader per maskin. Skicka allt, \u00f6ver TCP, till en adress. TCP snarare \u00e4n UDP, f\u00f6r att en logg som tappas tyst under belastning \u00e4r s\u00e4mre \u00e4n ingen logg alls \u2014 och belastning \u00e4r precis n\u00e4r man beh\u00f6ver den.<\/p>\n\n\n\n Den sv\u00e5ra halvan \u00e4r vad som h\u00e4nder sedan. N\u00e4r allt samlas p\u00e5 ett st\u00e4lle har man flyttat femton maskiners diskproblem till en enda disk.<\/strong> En pratsam applikation, en loop som loggar ett fel tio g\u00e5nger i sekunden, en enhet som b\u00f6rjar spamma \u2014 och pl\u00f6tsligt \u00e4r den centrala mottagaren full, vilket tar ner b\u00e5de loggningen och allt annat p\u00e5 den maskinen.<\/p>\n\n\n\n S\u00e5 insamlingen \u00e4r inte klar f\u00f6rr\u00e4n det finns rotation med tak, komprimering av det \u00e4ldre, och ett st\u00e4djobb som gallrar efter storlek och inte bara efter \u00e5lder. \u00c5ldersbaserad gallring skyddar inte mot att n\u00e5gon skickar en gigabyte p\u00e5 en timme.<\/p>\n\n\n\n Skriv en testrad p\u00e5 varje maskin<\/strong> och kontrollera att den dyker upp centralt. Inte ”konfigurationen ser r\u00e4tt ut” \u2014 sj\u00e4lva raden, med maskinens namn i.<\/p>\n\n\n\n R\u00e4kna avs\u00e4ndare.<\/strong> Om du har femton maskiner ska femton kataloger fyllas. Fjorton betyder att n\u00e5gon tystnat, och det \u00e4r alltid den som \u00e4r intressantast.<\/p>\n\n\n\n Fyll disken med flit<\/strong> i ett testfall och se att rotationen g\u00e5r in innan det blir kritiskt.<\/p>\n\n\n\n Centraliserad loggning \u00e4r inte i sig ett skydd. Det \u00e4r en f\u00f6ruts\u00e4ttning<\/em> \u2014 f\u00f6r s\u00f6kning, f\u00f6r larm p\u00e5 m\u00f6nster, f\u00f6r att kunna svara p\u00e5 fr\u00e5gan ”h\u00e4nde det h\u00e4r p\u00e5 fler maskiner?”. Utan den \u00e4r varje utredning en runda med inloggningar och gissningar.<\/p>\n\n\n\n Och den l\u00e4xa jag fick gratis: en mottagare som f\u00f6rsvinner tar med sig loggfl\u00f6det utan ett ljud. Kontrollera med j\u00e4mna mellanrum att det som skickas faktiskt tas emot. Att skicka och att bli h\u00f6rd \u00e4r tv\u00e5 olika saker.<\/p>\n\n","protected":false},"excerpt":{"rendered":" Femton maskiner, femton loggkataloger, och en enda som skickade n\u00e5gonstans. Om att samla in \u00e4r den l\u00e4tta halvan \u2014 och att en mottagare som f\u00f6rsvinner tar med sig fl\u00f6det utan ett ljud.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[2],"tags":[],"class_list":["post-36","post","type-post","status-publish","format-standard","hentry","category-drift"],"_links":{"self":[{"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/posts\/36","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/comments?post=36"}],"version-history":[{"count":0,"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/posts\/36\/revisions"}],"wp:attachment":[{"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/media?parent=36"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/categories?post=36"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/airex.se\/blogg\/wp-json\/wp\/v2\/tags?post=36"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Att samla in \u00e4r den l\u00e4tta halvan<\/h2>\n\n\n\n
S\u00e5 vet du att det funkar<\/h2>\n\n\n\n
Vad jag tar med mig<\/h2>\n\n\n\n