Kenishirotie - stock.adobe.com
Mehr Transparenz durch segmentierte Scorecards schaffen
Scoring-Verfahren und Scorecards bieten eine Grundlage, um tragfähige Entscheidungen treffen zu können. Allerdings benötigen diese Transparenz und Vertrauen.
Ob beim Online-Shopping, bei der Anmietung einer Wohnung oder der Beantragung einer Finanzierung: Überall wird geprüft, wie hoch das Risiko eines Zahlungsausfalls ist. Grundlage dafür ist Credit Scoring.
Grundsätzlich kann ein Kreditrisiko-Score auf verschiedenen Arten von Informationen basieren (zum Beispiel abgeschlossene Verträge und Finanztransaktionen), während es vom Markt und den Vorschriften abhängt, welche Informationen tatsächlich erlaubt und verwendet werden. Nicht erst durch die jüngsten Ereignisse werden Stimmen laut, dass Scoring-Prozesse transparenter werden müssen. Denn schließlich beeinflusst das Scoring Entscheidungen, die unser Leben verändern können.
Der Wunsch nach mehr Transparenz ist daher verständlich. Doch die Antwort auf die Frage „Wie wird Scoring transparenter?“ gestaltet sich komplex.
Herausfordernde Datenmassen
Unser individueller Score basiert auf einer sehr umfangreichen Datenmenge. Doch hat sich in dieser Datenbasis ein Fehler eingeschlichen oder fehlen wichtige Informationen, kann das verheerende Folgen haben. Die Gründe für eine negative Bewertung können vielfältig sein – und nicht immer sind sie verständlich oder nachvollziehbar. Wie also soll man mit den Massen von Daten umgehen, um daraus einen erklärbaren Score zu generieren?
Machine-Learning-Modelle sind ideal dafür geeignet, große Datenmengen zu verarbeiten und zu analysieren. Diese Modelle sind jedoch vielfach nicht intuitiv, potenzielle Verzerrungen sind schwer zu erkennen und ihre Entscheidungen oftmals kaum erklärbar. Doch genau diese Erklärbarkeit ist notwendig, um Scoring transparenter zu machen.
Traditionelle Scorecards als Fundament für mehr Transparenz
Eine Transparenz des Scorings kann jedoch nur erreicht werden, wenn die einzelnen Bestandteile des Modells verstanden werden und diese an sich erklärbar sind. Die Finanzdienstleistungsbranche verlässt sich häufig auf das Scorecard-Format, um Scores zu berechnen und leicht einsetzbare Scoring-Lösungen für eine Vielzahl von Anwendungen zu erstellen – einschließlich Marketing-Targeting, Verhaltens-Scoring, Betrugserkennung und Inkasso-Scoring.
Scorecards werden über automatisierte, regelbasierte Systeme bereitgestellt, um tragfähige Entscheidungen basierend auf hohem Datenvolumen zu treffen. Aufgrund der großen Verantwortung, die diese Systeme tragen, streben Modellentwickler und domänenverwandte Anwender ein hohes Maß an Transparenz und Vertrauen in die Angemessenheit und Robustheit der eingesetzten Modelle an.
Da keine Datenbank perfekt ist, und sich die zukünftigen Betriebsbedingungen tendenziell von den früheren Bedingungen unterscheiden, unter denen die Daten erhoben wurden, ist die Einbeziehung von personeller Fachkompetenz in den Data-Mining-Prozess oft unerlässlich.
Für die Entwicklung von Scorecards ist es deswegen entscheidend, ein angemessenes Gleichgewicht zwischen dem Wunsch, die Daten sprechen zu lassen, und der Notwendigkeit, die Modelle für den Einsatz zu entwickeln, herzustellen. Die Scorecard-Technologie unterstützt die Einbeziehung von Domänenwissen in die Modelle, indem sie es den Nutzern ermöglicht, den angepassten Funktionsbeziehungen Einschränkungen wie Monotonie aufzuerlegen.
Modellierer, die Wert auf Interpretierbarkeit legen, wünschen sich dennoch ein hohes Maß an Flexibilität in ihren Scoring-Algorithmen, um komplexe Verhaltensmuster zu erfassen und neue, unerwartete Beziehungen zu entdecken. Für manche Anwendungen führt eine Scorecard jedoch zu zu starken Vereinfachungen, um komplexe Verhaltensmuster präzise genug zu erfassen.
Segmentierte Scorecards für bessere Transparenz
Die Fähigkeit, schwächere und komplexere Vorhersagemuster zu erfassen, die ansonsten vereinfachten Modellen entkommen könnten, kann einen wesentlichen Unterschied für das Endergebnis eines Unternehmens beim Scoring bedeuten.
Segmentierte Scorecards, bei der verschiedene Scorecards für verschiedene Segmente einer Population zuständig sind, sind eine Antwort der Scoring-Branche auf diese Bedürfnisse. Im Gegensatz zu einer einzelnen Scorecard, die in den Eingabevariablen (Prädiktor) additiv ist, können diese Modelle Interaktionen zwischen den Variablen, die zur Definition der Segmente verwendet werden, und den Eingabevariablen, die in den Scorecards auf Segmentebene verwendet werden, erfassen.
Die Entwicklung eines segmentierten Scorecard-Systems ist traditionell ein arbeitsintensiver und eher Ad-hoc-Prozess, bei dem mehrere Segmentierungsschemata aus der Domänenerfahrung hypothetisch und durch ein exploratives Verfahren analysiert werden. Die Segmentierungsmöglichkeiten werden im Rahmen der Entwicklungsressourcen getestet und verfeinert. Dieser Prozess könnte von objektiveren und produktiveren Ansätzen profitieren.
Außerhalb des Credit Scoring wurden Machine-Learning-Technologien, wie zum Beispiel Ensemble-Modelle oder neuronale Netze entwickelt, bei denen zunächst nicht die Erklärbarkeit im Vordergrund stand, sondern lediglich die Genauigkeit der Vorhersagen. Diese Modelle können von der Fähigkeit, Interaktionen automatisch zu erfassen, profitieren. Solche Modelle sind attraktiv für ambitionierte Scorecard-Entwickler, die nichts unversucht lassen wollen, um minimale funktionale Annahmen über das Konsumentenverhalten zu treffen und durch verschiedene Diagnosen Einblicke in die erlernten Zusammenhänge gewinnen zu können.
Doch die daraus resultierenden Modelle und die Art und Weise, wie die Ergebnisse aus den Eingaben für jeden einzelnen Fall berechnet werden, können sich einer einfachen Erklärung entziehen. Sie können auch nicht einfach korrigiert werden, wenn sich Datenfehler oder Verzerrungen eingeschlichen haben. Entsprechend ist es wichtig zu verstehen, wie eine segmentierte Scorecard im Einzelnen aufgebaut werden kann, die einerseits ähnlich genaue Vorhersagen wie ein Machine-Learning-Modell generiert, andererseits jedoch ähnlich gut erklärbar und verbesserbar ist wie eine Scorecard. Je besser das Verständnis über die einzelnen Bausteine ist, desto wahrscheinlicher wird die Erklärbarkeit des Modells.
Aufbau einer segmentierten Scorecard
Die prädiktiven Variablen in einer Scorecard werden als Merkmale bezeichnet. Ein Merkmal besteht aus einer Reihe von sich gegenseitig ausschließenden und ergänzenden Attributen, die die möglichen Werte des zugrunde liegenden Prädiktors umfassen.
Ein fehlender Wert kann als Risikoindikator interpretiert werden, zum Beispiel, wenn ein Verbraucher es ablehnte, eine Frage zu beantworten. Oder ein Wert kann als neutral interpretiert werden, wenn er beispielsweise das Resultat einer fehlerhaften Datenübertragung ist. Ein leistungsstarkes Merkmal von segmentierten Scorecards ist ihre Fähigkeit, nichtlineare Effekte durch nichtparametrische Funktionen zu modellieren. Gleichzeitig sind die Scorecards und die Berechnung der Scores für jeden Fall leicht zu erklären.
Die Zuordnung von Punkten zu Attributen folgt garantiert erklärbaren Mustern, die vom Modellentwickler durch Einschränkungen verstärkt werden können. Eine typische Scorecard enthält meist zwischen 12 und 20 Merkmale. Wie die Variablen miteinander kombiniert werden, um die Punktzahl zu beeinflussen, ist eindeutig und erklärbar.
Zusammenfassend lässt sich sagen, dass segmentierte Scorecards eine leicht zu interpretierende funktionale Form bieten, die in der Lage ist, komplexe prädiktive Beziehungen darzustellen.
Dr. Gerald Fahner, FICO
Zusammenfassend lässt sich sagen, dass segmentierte Scorecards eine leicht zu interpretierende funktionale Form bieten, die in der Lage ist, komplexe prädiktive Beziehungen darzustellen.
Bei einem bereits bestehenden Segmentierungsschema ist die Entwicklung der zugehörigen Scorecards relativ einfach, sofern die Segmente eine ausreichende Anzahl von aussagekräftigen Trainingsbeispielen enthalten.
Die Suche nach einem guten Segmentierungsschema ist jedoch eine schwierige Aufgabe, da der Raum für mögliche Segmentierungen groß ist. Aufgrund der Vielzahl möglicher Lösungen ist es unwahrscheinlich, dass jemals das „beste“ Schema mit dem perfekten Ergebnis gefunden wird. Automatische Segmentierungsverfahren haben jedoch eine weitaus bessere Chance, ein sehr gutes Schema zu finden als manuelle Ad-hoc-Verfahren, welche in vertretbarer Entwicklungszeit nur eine sehr geringe Anzahl von Schemata testen können.
Zwei Seiten der Medaille
Komplexe, moderne Machine-Learning-Techniken stellen eine starke Konkurrenz zu traditionellen Kreditbewertungssystemen in Bezug auf die Vorhersagekraft dar. Ihre mangelnde Erklärbarkeit erschwert jedoch das Vertrauen und schafft Barrieren, um hochrangige Kreditentscheidungen der Verbraucher auf diese Algorithmen zu verlagern.
Es ist deshalb Vorsicht gegenüber undurchsichtigen Machine-Learning-Ansätzen im Kreditrisiko-Scoring geboten, die prädiktiv in sehr großen und wenig strukturierten Funktionsräumen agieren. Einen besseren Ansatz stellen Modelle dar, die aus kleineren, segmentierten Scorecards bestehen. Technologisch gesehen ist der aufgezeigte Weg mit segmentierten Scorecards eine Möglichkeit, Scoring transparenter zu gestalten, ohne materiell an Genauigkeit zu verlieren. Die andere wichtige Frage ist jedoch, wie das Vertrauen der Konsumenten in das Scoring allgemein zurückgewonnen werden kann.
Denn auch wenn der Einsatz oder die veränderte Anwendung von künstlicher Intelligenz mehr Transparenz ermöglicht, muss diese auch für Verbraucher zugänglich und verständlich gemacht werden. Hierfür bedarf es einer offenen Kommunikation und vertrauensbildender Maßnahmen, die von Scoring-Anbietern, Politik und Unternehmen gleichermaßen angestrebt und getragen werden müssen.
In den USA bestehen dazu zum Beispiel strenge Regulierungen: Verbrauchern müssen mehrere verständliche Gründe genannt werden, wenn eine Kreditanfrage abgelehnt wird. Und diese Gründe müssen von dem angewandten Scoring-Modell abgeleitet werden. Eine solche Herangehensweise schafft Transparenz und Vertrauen – und ist mit segmentierten Scorecards möglich.
Über den Autor:
Dr. Gerald Fahner ist Senior Principal Scientist bei FICO.
