Alarmkette testen: Kommt der Alarm auch nachts wirklich an?

Warum ein grüner Testknopf wenig über die Nacht sagt

Ein typischer Verlauf: Bei der Einrichtung im Frühjahr klickt jemand in den Benachrichtigungs-Einstellungen auf „Test-Alert senden“, alle Kanäle melden Erfolg, das Thema ist erledigt. Im Sommer wird der Slack-Kanal für Störungen archiviert und durch einen neuen ersetzt. Der Webhook für das Ticketsystem zeigt seit einem Umbau auf eine Adresse, die es nicht mehr gibt. Und die Kollegin mit Bereitschaft ist über das lange Wochenende verreist, ohne dass der Bereitschaftsplan davon weiß. Auffallen wird das erst in der Nacht, in der der Checkout ausfällt und die Meldung ins Leere geht.

Der Testknopf ist trotzdem nützlich, er prüft nur etwas anderes. In XICTRAQ® schickt er einen Testalarm durch alle aktiven Kanäle und liefert je Kanal ein Ergebnis mit Status, HTTP-Code, Fehler und Zahl der Versuche zurück. Dieser Testalarm wird nicht gespeichert. Er hat deshalb kein Zustellprotokoll am Alarm, löst keine Eskalation aus, landet bei keiner Bereitschaft und kann nicht quittiert werden. Und er geht bewusst an zwei Einstellungen vorbei: an der Auswahl, welche Alarmkategorien auf welchem Kanal ankommen, und an den Ruhezeiten je Kanal. Ein Test soll zeigen, ob ein Kanal zustellt.

Daraus folgt eine unbequeme Einsicht: Ein grüner Test um 02:14 Uhr belegt nicht, dass ein echter Warnalarm um 02:14 Uhr ankommt. Liegt der Kanal in einer Ruhezeit, stellt XICTRAQ® dort nur kritische Alarme sofort zu; die übrigen kommen nach dem Ende der Ruhezeit als Sammelmeldung. Das ist gewollt, muss aber bewusst entschieden sein.

Was der BSI-Standard 200-4 unter einer Alarmierungsübung versteht

Der BSI-Standard 200-4 zum Business Continuity Management führt die Alarmierungsübung als eigene Übungsart. Sie soll Fehlerquellen und Schwächen in der Alarmierung aufdecken, die Wirksamkeit der Alarmierungsverfahren feststellen und die Reaktionszeit konkreter verifizieren (BSI-Standard 200-4). Die Reaktionszeiten sollen dabei ermittelt und dokumentiert werden. Der Kernsatz des Abschnitts:

Anhand von Alarmierungsübungen sollte getestet werden, ob die organisatorischen und technischen Maßnahmen eine Alarmierung im erforderlichen Zeitraum (auch außerhalb der üblichen Geschäftszeiten) sicherstellen.

— BSI-Standard 200-4, Abschnitt 13.8 Alarmierungsübung

Der Standard unterscheidet zwei Formen. In technikorientierten Tests wird geprüft, ob die Kommunikationsmittel und -verfahren funktionsfähig sind. In anwendungsorientierten Übungen werden die Alarmierungsdokumentation und die organisatorischen Regelungen geprüft, etwa die Erreichbarkeit der Rolleninhabenden und ihrer Stellvertretungen; zusätzlich lässt sich die Geschwindigkeit der Reaktion testen und einüben (BSI-Standard 200-4). Übertragen auf das Website-Monitoring ist der Klick auf den Testknopf ein technikorientierter Test. Die anwendungsorientierte Übung braucht einen Alarm, der denselben Weg nimmt wie ein echter.

Für einen Onlineshop ist der Standard keine Pflicht. Für Institutionen, die ein Business Continuity Management in der Stufe „Reaktiv-BCMS“ aufbauen, sind Alarmierungsübungen dagegen regelmäßig vorgesehen (BSI-Standard 200-4). Nützlich ist er trotzdem, weil er ein messbares Ziel vorschlägt. Als Beispielziel nennt der Standard maximal 30 Minuten von der initialen Alarmmeldung, bis alle erforderlichen Rolleninhabenden den Alarm positiv quittiert haben (BSI-Standard 200-4). Den Wert können Sie übernehmen oder an die eigene Bereitschaft anpassen. Wichtig ist, dass er vor der Übung feststeht.

Wo Alarmketten nachts reißen

Brüche entstehen typischerweise nicht beim Einrichten, sondern Wochen später durch Änderungen, die mit dem Monitoring nichts zu tun haben. Ein Kanal wird aufgeräumt, ein Token erneuert, ein Endpunkt umgezogen, ein Telefon neu eingerichtet. Ob ein Alarm danach noch ankommt, prüft in diesem Moment niemand. Sechs typische Bruchstellen:

Bei Slack, Telegram und eigenen Webhooks hinterlässt ein Bruch einen Fehlercode im Zustellprotokoll, den allerdings nur sieht, wer nach dem Alarm nachschaut. Beim Telefon im Ruhemodus und bei der Kollegin im Urlaub gibt es gar keinen Fehlercode, die Nachricht wurde ja zugestellt. Diese Fälle zeigt in der Regel erst eine Übung, die bis zur Quittierung läuft. Dass Kanäle selbst ausfallen können und XICTRAQ® deshalb Zustellversuche wiederholt, erklärt der Abschnitt zur Retry-Logik im Beitrag Monitoring-Alerts richtig konfigurieren.

E-Mail, Chat und Push: was die Kanäle selbst begrenzen

E-Mail ist in XICTRAQ® der Standardkanal für alle Kategorien und zugleich ein langsamer Kanal, sobald etwas hakt. Kann ein Mailserver eine Nachricht nicht sofort zustellen, muss er warten, bevor er es erneut versucht. Der SMTP-Standard sieht dafür im Allgemeinen einen Abstand von mindestens 30 Minuten vor (RFC 5321). Wiederholt wird, bis die Nachricht zugestellt ist oder der Absender aufgibt, und die Frist bis zum Aufgeben sollte im Allgemeinen mindestens vier bis fünf Tage betragen (RFC 5321). Ein einziger vorübergehender Fehler beim Empfänger kann so das ganze Zeitbudget einer Alarmierung aufbrauchen. Für den Absender sieht die Übergabe an den Mailserver trotzdem wie ein Erfolg aus.

Dazu kommt die Aufmerksamkeit. Der BSI-Standard hält asynchrone Kommunikationsmittel für die Alarmierung für weniger geeignet, weil der Absender nicht wissen kann, ob und wann der Empfänger die Information erhält. Alarmmeldungen per E-Mail gehen nach seiner Einschätzung häufig in der Menge anderer E-Mails unter; besser geeignet seien Anrufe auf Mobiltelefone oder Alarm-Apps (BSI-Standard 200-4). XICTRAQ® ruft nicht selbst an und verschickt keine SMS, es stellt über Chat-Dienste, E-Mail, Webhook und Browser-Push zu. Umso wichtiger sind Quittierung und Eskalation: Sie machen aus einer asynchronen Nachricht eine Kette mit Rückmeldung. E-Mail gehört in diese Kette als Beleg und als Rückfallweg, wecken sollte nachts ein anderer Kanal.

Chat-Dienste stellen schnell zu, setzen aber Grenzen. Wird ein Bot gedrosselt, antwortet die Schnittstelle mit dem Status 429, der laut HTTP-Standard anzeigt, dass in einem bestimmten Zeitraum zu viele Anfragen gesendet wurden (RFC 6585). XICTRAQ® wiederholt die Zustellung in diesem Fall nach kurzem Abstand und schreibt das Ergebnis je Kanal ins Zustellprotokoll.

Browser-Push hängt am Gerät. XICTRAQ® aktiviert ihn je Gerät und nicht je Monitor; ein Laptop, der nachts zugeklappt im Rucksack liegt, ist kein Empfänger. Nach dem Web-Push-Standard darf der Push-Dienst eine Nachricht nach Ablauf der vom Absender angegebenen Lebensdauer nicht mehr zustellen (RFC 8030). Ob ein Push in der Nacht wirklich auf dem Telefon der Bereitschaft erscheint, zeigt deshalb nur eine Übung auf genau diesem Gerät.

Ruhezeiten und Schweregrade: was nachts durchkommen soll

Bevor geübt wird, muss feststehen, welcher Alarm nachts überhaupt wecken soll. Der Beitrag zur On-Call-Rotation ohne Burnout trennt dafür zwischen Alarmen, die sofort jemanden brauchen, und solchen, die bis zum Morgen warten können. In XICTRAQ® entscheiden vier Punkte, was davon wo ankommt:

• Kategorien je Kanal: Alarme sind in Kategorien gruppiert, etwa Uptime, SSL, Security und System; je Kategorie wählen Sie die Kanäle.
• Ruhezeiten je Kanal: In einer Ruhezeit hält ein Kanal nicht kritische Alarme zurück und schickt sie danach als Sammelmeldung, sofern Sie diese nicht abgeschaltet haben. Kritische Alarme gehen durch.
• Schweregrad des Alarms: Den Schweregrad vergibt XICTRAQ® beim Auslösen; ob ein Alarm als kritisch gilt, entscheidet darüber, ob er die Ruhezeit durchbricht.
• Eskalations-Policy: Eine Policy lässt sich auf einzelne Websites und eine Mindestschwere zuschneiden. Alarme ohne Website, etwa von Heartbeats, treffen keine Policy mit Website-Auswahl; für sie greift eine Policy, die nur nach Schwere filtert, oder die Standard-Policy.

Daraus ergeben sich zwei Fragen, die oft verwechselt werden. Die erste lautet: Erreicht ein kritischer Alarm nachts die Bereitschaft, und quittiert sie ihn in der Zielzeit? Das ist die Frage der Übung. Die zweite lautet: Bleibt eine Warnung nachts so ruhig, wie es gewollt ist? Das ist eine Frage der Konfiguration, die Sie vor der Übung in den Einstellungen klären. Damit nachts nur bestätigte Ausfälle wecken und nicht jeder kurze Aussetzer, lohnt sich zusätzlich der Blick auf Flapping-Alerts und ihre Gegenmittel.

Die Übung aufsetzen: ein echter Alarm aus einem Übungs-Monitor

Für die anwendungsorientierte Übung braucht es einen Alarm, der echt ist, aber keinen echten Schaden meldet. Am einfachsten gelingt das mit einem eigenen Heartbeat-Monitor, der nur für Übungen da ist. Heartbeats kennen neben dem normalen Ping eine Adresse für einen aktiv gemeldeten Fehlschlag: Ein Aufruf von /fail setzt den Monitor auf „failed“ und löst sofort einen Alarm vom Typ heartbeat_failed aus, ohne das Toleranzfenster abzuwarten. Dieser Alarm hat die Schwere kritisch, wird gespeichert, läuft durch Kategorien, Ruhezeiten und Eskalation wie jeder andere und lässt sich quittieren.

Damit der Übungs-Monitor zwischen den Übungen nicht selbst Alarm schlägt, braucht er einen regelmäßigen gesunden Ping, zum Beispiel aus einem vorhandenen Cron-Job einmal täglich zur Mittagszeit. Legen Sie ihn mit einem passenden Zeitplan an und geben Sie ihm einen Namen, der im Alarm sofort als Übung erkennbar ist, etwa „Übung Alarmkette“. Wer Heartbeats schon für Exporte nutzt, etwa für den Produktfeed, legt den Übungs-Monitor einfach daneben an. Zur Übungszeit genügt dann ein Aufruf:

# Übungsalarm auslösen (IHR-SLUG durch den Slug des Übungs-Monitors ersetzen)
curl -fsS -G --data-urlencode "msg=Übungsalarm, bitte quittieren" \
  "https://api.xictraq.com/api/heartbeat/IHR-SLUG/fail"

# Nach der Quittierung: gesunder Ping, der Alarm wird aufgelöst
curl -fsS "https://api.xictraq.com/api/heartbeat/IHR-SLUG/ping"

Nach der Quittierung schließen Sie den Alarm mit einem gesunden Ping. Der Monitor erholt sich dabei automatisch, der Alarm wird aufgelöst, und an die Kanäle, die den Alarm bekommen haben, geht eine Entwarnung. Auch sie gehört zur Übung: Kommt die Entwarnung nicht an, erfährt die Bereitschaft im Ernstfall nicht, dass ein Vorfall vorbei ist.

Ablauf der Alarmierungsübung in sieben Schritten

Die Übung selbst dauert nur Minuten, aufwendig ist allein die Vorbereitung. Praktikabel ist diese Reihenfolge:

1. Ziel festlegen: etwa die Quittierung innerhalb von 30 Minuten nach dem Alarm, angelehnt an das Beispielziel (BSI-Standard 200-4), und welche Kanäle in dieser Zeit zustellen müssen.
2. Zeitpunkt wählen: bewusst ungünstig, also nachts, am Wochenende oder an einem Feiertag. Der Standard nennt auch die Mittagspause und die Zeit kurz nach Feierabend und rät, bei solchen Terminen vorab die erforderlichen Stellen zu informieren, etwa den Personal- oder Betriebsrat (BSI-Standard 200-4).
3. Kanäle vorher technisch prüfen: am Vortag den Knopf „Test-Alert senden“ drücken. Was hier schon scheitert, muss nicht nachts gefunden werden.
4. Auslösen und Uhrzeit notieren: den Übungs-Monitor per /fail auslösen. Die Zeit steht im Verlauf des Alarms.
5. Zustellung beobachten: In der Detailansicht des Alarms stehen die Zustellkanäle mit ihrem Ergebnis. Rückt eine Eskalationsstufe nach, halten Sie fest, wer wann benachrichtigt wurde.
6. Quittieren lassen: Die Bereitschaft bestätigt den Alarm über den Link in Slack, Teams, Discord oder der E-Mail, ohne sich anmelden zu müssen, oder in der Alarmübersicht. Damit stoppt die Eskalation.
7. Auflösen und auswerten: gesunder Ping, Entwarnung abwarten, Ergebnis mit dem Ziel vergleichen und jede Abweichung als Maßnahme mit Zuständigkeit festhalten.

Der Standard berichtet, dass sich unangekündigte Alarmierungsübungen in der Praxis bewährt haben, weil sie der Wirklichkeit am nächsten kommen. Um die Bereitschaft zur Mitarbeit zu erhalten, kann vorher angekündigt werden, dass innerhalb eines Zeitraums eine Übung stattfinden wird (BSI-Standard 200-4). Dazu passt ein Blick ins Arbeitszeitrecht: Nach § 5 des Arbeitszeitgesetzes müssen Beschäftigte nach Ende der täglichen Arbeitszeit eine ununterbrochene Ruhezeit von mindestens elf Stunden haben (ArbZG). Wie sich ein nächtlicher Übungsalarm in der Rufbereitschaft darauf auswirkt, klären Sie vor der ersten Nachtübung mit der Personalverantwortung.

Auswerten: Zustellprotokoll, Quittierzeit, Lücken

Für die Auswertung empfiehlt der BSI-Standard, die Protokolle der eingesetzten Alarmierungssoftware heranzuziehen und mit den Notizen aus der Übung zusammenzuführen (BSI-Standard 200-4). Bei Alarmierungsübungen sind quantitative Auswertungen möglich, etwa als „bestanden“ oder „nicht bestanden“ oder als Abgleich mit einer zeitlichen Vorgabe (BSI-Standard 200-4). In XICTRAQ® liegt das Protokoll am Alarm selbst: Je Kanal stehen Status, HTTP-Code, Fehler und Zahl der Versuche im Zustellprotokoll, der Verlauf zeigt, wann der Alarm ausgelöst, bestätigt und behoben wurde. Aus der Alarmübersicht lässt sich ein Postmortem herunterladen, das als Grundlage für den Übungsbericht dient.

• Uhrzeit des Alarms und der Quittierung, daraus die Zeit bis zur Quittierung
• je Kanal: zugestellt, Fehler mit Code oder nicht eingerichtet
• ausgelöste Eskalationsstufen und wer jeweils benachrichtigt wurde
• Gerät und Kanal, über die die Bereitschaft den Alarm tatsächlich bemerkt hat
• Ankunft der Entwarnung je Kanal

Eine Grenze hat jede Alarmierungsübung, und der Standard benennt sie offen: Sie prüft nur einen Teil der Reaktionszeit, denn die Zeit bis zur Erkennung eines Ereignisses gehört nicht dazu und lässt sich letztlich nur schätzen oder aus realen Ereignissen ableiten (BSI-Standard 200-4). Im Monitoring hängt diese Erkennungszeit am Prüfintervall und an der Karenzzeit vor dem Ausfall-Alarm. Wie lange ein Angriff je nach Signal unbemerkt bleiben kann, behandelt der Beitrag Angriffe zu spät bemerkt: Erkennungszeit je Signal.

Typische Befunde und was dagegen hilft

Die folgende Übersicht ordnet typische Befunde einer ersten Übung nach dem, was in der Übung sichtbar wird, nach der üblichen Ursache und nach der Abhilfe.

Für E-Mail-Befunde zeigt der kostenlose Mail-Check, ob SPF, DKIM und DMARC einer Domain stimmen. Ruhemodus, Urlaub und eine Eskalationsstufe ohne Empfänger fallen dagegen in der Regel erst in der Übung auf.

Rhythmus: wann üben und wer dabei sein muss

Der BSI-Standard schreibt für die Alarmierungsübung keinen festen Takt vor. Er sieht eine Jahresplanung vor, in der über einen festgelegten Zeitraum alle definierten Alarmierungswege getestet werden (BSI-Standard 200-4). Für Website-Teams bietet sich eine einfache Teilung an:

• Nach jeder Änderung an einem Kanal: Testknopf. Das Handbuch nennt als Anlässe den Wechsel eines Slack-Kanals, ein neues Bot-Token oder eine geänderte Webhook-URL.
• Vor Lastspitzen: eine Übung mit echtem Alarm, etwa vier Wochen vor Black Week und Feiertagen, damit für Korrekturen Zeit bleibt.
• Nach Wechseln in der Bereitschaft: wenn jemand neu dazukommt, ein Telefon tauscht oder der Plan umgebaut wird.
• Vereinzelt außerhalb der Geschäftszeit: nachts oder am Wochenende, wie es der Standard für Bereitschaften mit Erreichbarkeit außerhalb der Dienstzeit empfiehlt.

Dabei sein müssen alle, die im Ernstfall in der Kette stehen, auch die Vertretungen. Urlaubszeiten und Feiertage sind typische Stellen, an denen Dienstpläne danebenliegen. XICTRAQ® ermittelt die diensthabende Person live aus dem Bereitschaftsplan; Ausnahmen und Urlaubsvertretungen tragen Sie als Override mit Zeitraum und Ersatzperson ein. Eine Übung in der Ferienzeit zeigt, ob das tatsächlich gepflegt ist. Wie Eskalationsstufen grundsätzlich aufgebaut werden, beschreibt der Beitrag Incident Management und Eskalation.

Eine geübte Alarmkette vor Black Week und Feiertagen

Eine Alarmkette ist erst geprüft, wenn sie zu einer ungünstigen Zeit einmal vollständig gelaufen ist: Alarm, Zustellung, Eskalation, Quittierung und Entwarnung. Der Testknopf bleibt das Werkzeug für die schnelle Kontrolle nach jeder Änderung. Wer die Übung vier Wochen vor Black Week und den Feiertagen ansetzt, hat Zeit, archivierte Kanäle, abgelaufene Tokens und Lücken im Bereitschaftsplan zu beheben, bevor sie im Ernstfall teuer werden.

Alle Kanäle, Eskalationsstufen und Bereitschaftspläne beschreibt die Seite Alerting und Benachrichtigungen. Eskalations-Policies und Bereitschaftspläne gibt es ab dem Business-Tarif, die Übersicht steht unter Preise und Tarife. Ausprobieren lässt sich die Übung mit einem kostenlosen Konto, Heartbeats sind dort bereits enthalten.