ROC AUC ist irreführend, wenn Positivfälle selten sind, denn die False Positive Rate hat einen riesigen Nenner, sodass eine Flut von Fehlalarmen die Kurve kaum bewegt. Ein Modell kann 0,95 ROC AUC erreichen und in einem Fraud- oder Krankheitskontext trotzdem unbrauchbar sein. Nimm stattdessen Precision-Recall-AUC oder Precision bei fixem Recall beziehungsweise fixem Alert-Budget, was dem entspricht, was die Prüfenden tatsächlich erleben.
Warum Interviewer das fragen
Interviewer prüfen damit, ob du Metriken aus Gewohnheit oder nach Problemform wählst. ROC AUC ist der Default in jedem Tutorial und auf balancierten Daten völlig in Ordnung, also wollen sie den spezifischen Failure Mode hören: Seltenheit bläht den Negativ-Nenner auf. Eine entscheidungsnahe Alternative wie Precision at k zu nennen zeigt, dass du Evaluation mit der tatsächlichen Nutzung verbindest.
So baust du deine Antwort auf
- Nenne den Failure Case: seltene Positivfälle und eine riesige Negativklasse.
- Erklär mechanisch, warum die False Positive Rate niedrig bleibt.
- Nenne Precision-Recall-AUC und Precision bei fixem Budget.
- Verbinde die Wahl damit, was der Konsument des Modells sieht.
Beispielantwort
ROC AUC bricht zusammen, wenn Positivfälle selten sind. Die x-Achse ist die False Positive Rate, also False Positives geteilt durch alle Negativfälle. Bei einer Million Negativfällen sind zehntausend Fehlalarme eine False Positive Rate von einem Prozent. Die Kurve merkt das kaum. Gleichzeitig sieht die Person in der Queue zehntausend Müll-Alerts für ein paar hundert echte und hört völlig zurecht auf, dem Modell zu trauen. Also schaue ich auf Precision-Recall-AUC, die Precision auf die y-Achse legt und damit genau darauf sensibel ist. Noch besser: Ich berichte Precision am Betriebspunkt, den wir wirklich nutzen. Bei einem Fraud-Modell, das ich geshippt habe, lag die ROC AUC bei 0,96, und die Zahl, auf die es ankam, war: Bei den Top-1000-Scores pro Tag lag die Precision bei 31 Prozent. Das ist die Zahl, die das Review-Team spürt, und das ist die Zahl, die sich bewegt hat, als ich die Features verbessert habe. Bei balancierten Problemen ist ROC AUC prima und ich nutze sie gern. Es ist speziell der Fall seltener Positivfälle, in dem sie ein Modell schönredet.
Steht dieses Vorstellungsgespräch bald an? GhostPilot hört bei deinem Live-Call mit, erkennt die Frage in dem Moment, in dem sie gestellt wird, und bringt dir eine strukturierte Antwort in Echtzeit auf den Bildschirm. Probier es im nächsten Mock aus, oder hol dir einen $29 Session Pass, kein Abo, für den Ernstfall.
So funktioniert esNachfragen, mit denen du rechnen solltest
- Warum hängt die Precision-Recall-Baseline von der Positivrate ab?
- Wie vergleichst du zwei Modelle mit sich kreuzenden Precision-Recall-Kurven?
- Was ist Lift im obersten Dezil und wann ist das der richtige Report?
Weitere Fragen für Data Scientist
Dein Interviewer stellt seine eigene Version davon. Kopier deine echte Stellenbeschreibung in den kostenlosen Question Predictor und bekomm die 20 Fragen, die diese Rolle am wahrscheinlichsten stellt, samt dem, worauf jede wirklich abzielt.
Meine Fragen vorhersagen