Exchange Server Dashboards mit ELK (ElasticSearch, Logstash, Kibana) Teil 4

In Teil 3 dieser Artikelserie habe ich die Konfiguration der ELK Komponenten beschrieben. Falls jemand schon bis hierher die Umgebung nachgebaut hat, sollten sich auch schon einige Datensätze aus den Exchange Message Tracking Logs in der Elasticsearch Instanz befinden.

Einleitung

In diesem Artikel geht es um die Erstellung eines einfachen Kibana Dashboards, welches erste Daten aus den Message Tracking Logs darstellt.

Den ersten Filter / Suche erstellen und speichern

Damit Daten auf einem Dashboard dargestellt werden können, müssen die relevanten Daten erst einmal gefunden werden. Wenn nur die Exchange Message Tracking Logs in Elasticsearch vorhanden sind, ist dies noch vergleichsweise einfach.

Hier mal ein Weg als Beispiel, wie man an die entsprechenden Daten kommt.

Ich möchte zunächst einmal die Anzahl, der an die Postfächer zugestellten Mails darstellen. Die Daten aus den Message Tracking Logs müssen daher erst einmal gefiltert werden. Damit man einen Überblick aus den Daten zu einer Mail erhält, suche ich mir erst einmal eine einzelne Mail raus. Eine einzelne Mail lässt sich am einfachsten anhand der MessageID identifizieren. Um an die MessageID zu kommen, wird vor einem Logeintrag auf das kleine Dreieck geklickt:

Exchange Server Dashboards mit ELK (ElasticSearch, Logstash, Kibana) Teil 4

Jetzt werden alle Daten zu diesem Event angezeigt, darunter findet sich auch der Eintrag “internal_message_id”. Der Wert für die “internal_message_id” wird jetzt kopiert:

Exchange Server Dashboards mit ELK (ElasticSearch, Logstash, Kibana) Teil 4

In den Logs kann jetzt nach genau dieser MessageID gesucht werden. Dazu wird in der der wird der folgende Suchstring eingegeben:

internal_message_id:"WertDerMessageID"

Jetzt werden alle Einträge zu der einzelnen Mail angezeigt:

Exchange Server Dashboards mit ELK (ElasticSearch, Logstash, Kibana) Teil 4

Aus den Einträgen zu der einzelnen Mail lässt sich jetzt der Logeintrag mit der Event_ID “Deliver” suchen. Deliver ist dass Event, welches generiert wird, wenn eine Mail an ein Postfach zugestellt wurde.

Exchange Server Dashboards mit ELK (ElasticSearch, Logstash, Kibana) Teil 4

Das Event “Deliver” kann nun als Filter hinzugefügt werden, jetzt werden nur noch Logeinträge angezeigt, die der zuvor gewählten MessageID und dem Event Deliver entsprechen:

Exchange Server Dashboards mit ELK (ElasticSearch, Logstash, Kibana) Teil 4

In diesem Fall wird also nur noch genau ein Logeintrag angezeigt:

Exchange Server Dashboards mit ELK (ElasticSearch, Logstash, Kibana) Teil 4

Jetzt kann der zuvor eingestellte Suchfilter (internal_message_id“) gelöscht werden, der Filter für die Event_ID “Deliver” bleibt aber erhalten. In der Übersicht werden nun alle Logeinträge mit dem Event “Deliver” angezeigt:

Exchange Server Dashboards mit ELK (ElasticSearch, Logstash, Kibana) Teil 4

Somit sieht man nun alle Mails die an Postfächer zugestellt wurden. Die Suche nach den zugestellten Mails kann nun gespeichert werden:

Exchange Server Dashboards mit ELK (ElasticSearch, Logstash, Kibana) Teil 4

Hier kann nun beispielsweise der Name “Zugestellte Mails” verwendet werden:

Exchange Server Dashboards mit ELK (ElasticSearch, Logstash, Kibana) Teil 4

Mittels “Open” lässt sich die zuvor eingestellte Suche erneut aufrufen:

Exchange Server Dashboards mit ELK (ElasticSearch, Logstash, Kibana) Teil 4

Auf diese Art lassen sich Logeinträge zu einer Vielzahl weiterer Parameter filtern.

Leider ist dies nicht immer ganz so einfach wie bei den zugestellten Mails, aber für die erste Visualisierung reicht dies erst einmal.

Visualisierung erstellen

Aus der zuvor gespeicherten Suche kann nun eine Visualisierung erstellt werden:

Exchange Server Dashboards mit ELK (ElasticSearch, Logstash, Kibana) Teil 4

Für die Suche “Zugestellte Mails” eignet sich beispielsweise ein Liniendiagram, dass Liniendiagram zeigt dann die Anzahl der zugestellten Mails auf der Zeitachse an:

Exchange Server Dashboards mit ELK (ElasticSearch, Logstash, Kibana) Teil 4

Als Datenquelle für das Liniendiagram kann nun die gespeicherte Suche “Zugestellte Mails” verwendet werden:

Exchange Server Dashboards mit ELK (ElasticSearch, Logstash, Kibana) Teil 4

Um die Anzahl der Mails auf einer Zeitachse darzustellen, müssen Metrics (Y-Achse) und Buckets (X-Achse) konfiguriert werden. In diesem Beispiel kann als Aggregation “Count” verwendet werden. Mittels “Count” wird die Anzahl der Events aus der gespeicherten Suche “Zugestellte Mails” gezählt.

Die gezählten Mails mit der EventID “DELIVER” aus der Suche “Zugestellte Mails” können dann mittels der Aggregation “Date Histogram” und dem Feld “@timestamp” dargestellt werden.

Mit einem Klick auf den “Play-Button” wird auch gleich das Ergebnis dargestellt. Die neu erstellte Visualisierung kann nun ebenfalls abgespeichert werden:

Exchange Server Dashboards mit ELK (ElasticSearch, Logstash, Kibana) Teil 4

Auch für die Visualisierung kann der Name “Zugestellte Mails” verwendet werden:

Exchange Server Dashboards mit ELK (ElasticSearch, Logstash, Kibana) Teil 4

Da nun die erste Visualisierung erstellt ist, kann diese auf einem Dashboard angezeigt werden.

Dashboard erstellen

Nachdem eine Visualisierung erstellt wurde, ist das Erstellen eines Dashboards ein Kinderspiel. Im Menüpunkt “Dashboard” kann ein neues Dashboard erstellt werden:

Exchange Server Dashboards mit ELK (ElasticSearch, Logstash, Kibana) Teil 4

Mittels “Add” lassen sich Visualisierungen zum Dashboard hinzufügen:

Exchange Server Dashboards mit ELK (ElasticSearch, Logstash, Kibana) Teil 4

Die zuvor erstellte Visualisierung “Zugestellte Mails” kann nun ausgewählt werden und wird somit dem Dashboard hinzugefügt:

Exchange Server Dashboards mit ELK (ElasticSearch, Logstash, Kibana) Teil 4

Das Dashboard zeigt nun die Visualisierung “Zugestellte Mails” an und kann mit “Save” gespeichert werden:

Exchange Server Dashboards mit ELK (ElasticSearch, Logstash, Kibana) Teil 4

Auch hier kann wieder ein sprechender Name verwendet werden, beispielsweise “Exchange Server Dashboard”:

Exchange Server Dashboards mit ELK (ElasticSearch, Logstash, Kibana) Teil 4

Die Darstellung des Dashboards ist nun abhängig vom gewählten Zeitraum und kann auch automatisch aktualisiert werden. Auch die Darstellung im “Full Screen” Modus kann aktiviert werden:

Exchange Server Dashboards mit ELK (ElasticSearch, Logstash, Kibana) Teil 4

Aktuell wird nur eine Visualisierung auf dem Dashboard dargestellt, um mehr Daten anzuzeigen, können weitere Suchen und Visualisierungen erstellt werden.

Der nächste Artikel behandelt weitere Beispiele für entsprechende Suchen und Visualisierungen.

Leave a Comment