Ist die False-Positive-Rate eine sinnvolle Kennzahl?
Bei einer Bedrohungsanalyse gehören Fehlalarme unvermeidlich zur Tagesordnung. Diese halten IT-Security-Teams auf Trab. Daher sollte das Rauschen möglichst gering sein.
Der Fachkräftemangel wird zu einem ernsten Problem für die Netzwerksicherheit von Unternehmen. Auch der Global State of Security Report von Infoblox bestätigt dies. False Positives – also Fehlalarme, bei denen ein System einen Sicherheitsvorfall irrtümlich erkennt, obwohl es gar keinen Grund dafür gibt – binden die knappen personellen Ressourcen noch zusätzlich. Deshalb hat sich die Falsch-Positiv-Rate auch als eine wichtige Kennzahl etabliert – ist sie niedrig, kann man davon ausgehen, dass der zugrundeliegende Algorithmus für die Bedrohungserkennung gut arbeitet. Doch ist diese False-Positive-Rate, die zu einem großen Teil auf statistischen oder Machine-Learning-Algorithmen basiert, wirklich aussagekräftig? Dieser Frage ist die Infoblox Threat Intelligence Group nachgegangen.
Alles eine Frage der richtigen Frage
In den Augen dieser Expertengruppe geht die Frage nach der Anzahl der Falschmeldungen am Ziel vorbei. Die zentrale Frage für Unternehmen im Hinblick auf False Positives sollte vielmehr lauten: Hat ein Algorithmus negative Auswirkungen auf das Geschäft?
Anstatt der reinen Anzahl der False-Positive-Meldungen wird hier die Leistung eines Algorithmus bewertet. Können Anwender häufig nicht auf das zugreifen, was sie brauchen oder müssen zu viele Ressourcen aufwendet werden, um Sicherheitserkennungen zu überprüfen, beeinflusst der Algorithmus die Unternehmensperformance. Entscheidend für die richtige Bewertung der Leistung eines Algorithmus ist seine Performance in der Praxis. Denn die False-Positive-Rate kann durch ihre Umgebungen enorm beeinträchtigt werden.
Wie die Umgebung die False-Positive-Rate des Algorithmus beeinflusst
Es ist ein bekanntes Phänomen: Je größer die Datengrundlage, desto stärker multiplizieren sich auch die Fehler. Gerade in der Cybersicherheit ist das Datenvolumen sehr groß ist und das Ungleichgewicht zwischen legitimen und bösartigen Aktivitäten extrem. Das hat zur Folge, dass zum Beispiel False Positives überdurchschnittlich stark gewichtet werden – egal, ob die Analysen auf Domainnamen, URLs, Netflow oder anderen netzwerkbezogenen Daten basieren.
Zur Verdeutlichung dient folgendes fiktive Beispiel für das Domain Name System: Der Prozentsatz der schadhaften Domains in der Realität liegt bei deutlich unter 10 Prozent. Experten sind sich über die genaue Zahl uneinig, aber nehmen wir für das Beispiel an, dass 5 Prozent der Domains schadhaft sind. Bei einem Datensatz von 1 Million Domains sind das 50.000 schadhafte Domains. Der beispielhaft verwendete Algorithmus erkennt für unser Beispiel davon 40.000. Gleichzeitig stuft er legitime Domains in fünf Prozent der Fälle fälschlicherweise als schadhaft ein, das heißt von den verbleibenden 950.000 legitimen Domänen sind das fälschlicherweise 47.500, die als bösartig eingestuft werden. Insgesamt werden also 87.500 Domänen im Datensatz als schadhaft erkannt. Dieser Algorithmus hat in diesem Szenario eine beeindruckende False-Positive-Rate von 54 Prozent.
Bei einem wesentlich kleinerem Datensatz hätte der gleiche Algorithmus auch eine deutlich kleinere False-Positive-Rate (bei 50 Domains, läge die Rate bei 20 Prozent). Das zeigt – je nachdem, wie groß der Datensatz ist, wird die Kennzahl „False-Positive-Rate“ massiv beeinflusst.
Das führt uns zurück zur Ausgangsfrage: Wirkt sich die Menge an False Positives negativ auf Netzwerk und Ressourcen eines Unternehmens aus? Wenn nicht, warum sollten sie dann als Kennzahl eine Rolle spielen? Auch das Johns Hopkins University Applied Physics Lab (JHU/APL) hat sich mit diesem Thema beschäftigt und nennt es die „Low Regret“-Methode für die Übernahme von Informationen. Den Forschern zufolge ist es sinnvoller sowohl positive als auch negative Auswirkungen eines Algorithmus als Maßstab für den Erfolg zu nehmen, anstatt zu versuchen, falsch positive Ergebnisse zu quantifizieren.
Falsches Rauschen verringern
Dennoch lässt es sich nicht leugnen: False Positives erzeugen in den SOCs (Security Operations Center) Stress. Wie kann also das „Rauschen“, das durch False Positives erzeugt wird, reduziert und damit die Belastung des Sicherheitspersonals verringert werden?
Auch hier kommt es auf die Umgebung an. Denn es ist wichtig, die Informationsquellen zu verwenden, die für das jeweilige Umfeld geeignet sind. Auf DNS-Ebene können DNS-Response-Policy-Zones (RPZ) verwendet werden, ein offener Standard, der oftmals für den Austausch von DNS-Firewall-Richtlinien und Konfigurationsinformationen genutzt wird. Anbieter von DNS-Bedrohungsdaten verfolgen die Domains, die nachweislich bösartige Inhalte bereitstellen oder auf andere Weise an fragwürdigen Aktivitäten beteiligt sind. Diese „Reputationsdaten“ können über die DNS-Architektur verteilt und von DNS-Firewalls verwendet werden, um Auslöse-/Reaktionsmaßnahmen zu implementieren, die viele Angriffsformen blockieren oder abschwächen können.
„Wenn Security-Verantwortliche Maßnahmen ergriffen haben, um ihr „Rauschen“ in den Griff zu bekommen und ihre Umgebung sicherer und widerstandsfähiger zu gestalten, sollten sie ihr Augenmerk anstatt auf die False-Positive-Rate auf die Wirksamkeit ihres Algorithmus lenken.“
Steffen Eid, Infoblox
Eine geringe False-Positive-Rate der jeweiligen RPZ-Anbieter sorgt dafür, dass das falsche „Rauschen“ in den SOCs nicht zu stark wird. So lag die Rate bei einer exemplarischen RPZ im vergangenen Jahr bei 0.00015 Prozent. Gleichzeitig befanden sich in dieser RPZ fast 3 Millionen aktive verdächtige Domains. Basis dafür ist eine Intelligenz, mit der die RPZs gespeist werden. Sie umfasst die Erkennungen aus einer Vielzahl von Algorithmen, von denen einige statistischer Natur sind und andere nicht. Auch Human-in-the-Loop-Strategien kommen dafür zum Einsatz. Mehrere Verarbeitungsebenen helfen außerdem dabei, potenzielle False Positives zu beseitigen.
Fazit: Der Impact zählt
False Positives wird es in der Bedrohungsanalyse immer geben – egal, ob Algorithmen oder andere Quellen wie Sandboxes, die Ursache für sie sind. Wenn Security-Verantwortliche Maßnahmen ergriffen haben, um ihr „Rauschen“ in den Griff zu bekommen und ihre Umgebung sicherer und widerstandsfähiger zu gestalten, sollten sie ihr Augenmerk anstatt auf die False-Positive-Rate auf die Wirksamkeit ihres Algorithmus lenken. Denn die False-Positive-Rate allein ist irrelevant. Aber ein Algorithmus, der möglichst viele False Positives automatisiert herausziehen kann, spart Ressourcen. So kann auch dem Thema Fachkräftemangel zumindest ein Stück weit entgegengewirkt und gleichzeitig bessere Leistung und besserer Schutz gewährleistet werden.
Über den Autor:
Steffen Eid ist Manager Solution Architects für Central Europe bei Infoblox. Als Fachinformatiker kennt er die Branche von der Pike auf. Seit 2016 begleitet er Infoblox auf der Reise vom Netzwerkmanagement Unternehmen zum SaaS-Anbieter für DDI-basierte Netzwerk- und Security-Lösungen.
Die Autoren sind für den Inhalt und die Richtigkeit ihrer Beiträge selbst verantwortlich. Die dargelegten Meinungen geben die Ansichten der Autoren wieder.
