Analysera oformaterade loggar

 Analysera oformaterade loggar, med Elastic blir det enkelt!

Hur gör man när man måste underhålla ett system och behöver veta hur systemet mår varje dag men det finns hundratals loggar som alla har olika loggformat?
Detta var utmaningen som vi på Compose IT ställdes inför. Med hjälp av Elastic designade vi en lösning som gör logganalysen enkel.

Om man har utvecklat ett eget system eller anpassat ett COTS system (standardsystem) så är det troligt att det finns loggar med olika format inom samma lösning. Nya loggar skapas när system anpassas eller byggs ut och då är det vanligt att de nya loggarna får ett lite annorlunda format än de redan existerande. Formatet kan till och med skilja sig mellan loggraderna i samma logg eller ett loggmeddelande kan vara uppdelat på flera rader. De olika formaten kan sedan orsaka problem när loggarna ska läsas in och analyseras vid en central punkt eftersom man måste kunna normalisera loggmeddelandena samt separera dem från varandra.

När vi ställdes inför utmaningen att samla in många olika typer av loggar utspridda över många servrar så valde vi att använda Elastic. Det fanns flera anledningar till varför vi valde just Elastic. De främsta anledningarna var att Elastics databas (Elasticsearch) har kapacitet att mycket effektivt indexera och analysera text samt att Elastic erbjuder en helhetslösning med allt från insamling till visualisering för att kunna analysera oformaterade loggar. Dessutom är hela lösningen är open source och därmed gratis att använda.

Med Beats och Logstash (delar av Elastic) samlar vi in loggar från mer än 50 servrar spridda över fyra olika nätverksinstanser till den centrala databasen Elasticsearch. Logstash normaliserar loggarna till ett och samma format och bearbetar dessa så att meddelandena kan analyseras per instans, över samtliga instanser och felmeddelanden separat. Med denna lösning blir det enkelt att få en överblick över hela systemets status och status för varje enskild instans. Elasticsearch gör det möjligt att söka igenom logginnehållet efter enskilda ord eller hela meningar. Informationen visas grafiskt och analyseras effektivt med hjälp av Kibana, Elastic GUI.

Delar av informationen i dessa loggar är känslig och måste därför hanteras på ett säkert sätt. Elastic har stöd för SSL/TLS och användarbaserad säkerhet vilket innebär att all logginformation kan samlas in, lagras och presenteras på ett säkert sätt.

Sammanfattningsvis så möjliggjorde denna lösningen att på ett enkelt sätt analysera och hitta fel i loggar som hade helt olika format och innehöll olika typer av information från olika instanser.

Utan Elastic var det inte möjligt att inom rimlig tid analysera hela innehållet i alla loggar. Med Elastic blev det möjligt att analysera allt innehåll och hitta fel inom några minuter.

Med Elastic blir logghantering enkelt, snabbt och säkert!