Kwantitatief modelleren voor beslissingen

De randvoorwaarde die alles bepaalt

Een model met externe verklarende variabelen kun je niet evalueren alsof hun toekomstige waarden al bekend zijn. Als zo'n variabele op het beslismoment een invoer moet zijn, moet hij onder dezelfde informatiecondities worden voorspeld als datgene wat hij helpt voorspellen. Sla je dat over, dan meet de evaluatie een model dat nooit zal bestaan — een model met een kopie van het antwoord.

Wat eruit kwam

Op deze taak bleek de eenvoudigere klassieke aanpak betrouwbaarder dan de afgestemde machine-learning-alternatieven. De les is niet dat de ene modelklasse beter is dan de andere. De les is dat schaarse seizoensdata met een echte voorlopende indicator een gedisciplineerd tijdreeksmodel beloont — en dat de rangorde pas zichtbaar werd toen de verklarende variabelen werden voorspeld in plaats van aangenomen.

Waarom het modelregime verschilt

Op factuurniveau zijn er ordes van grootte meer waarnemingen, en de structuur is evenzeer categorisch als temporeel — wie, onder welke voorwaarden, met welke geschiedenis. Dat is de setting waarin machine-learning-methoden hun complexiteit beginnen te verdienen, en op deze taak presteerden ze beter dan de operationele benchmark waarmee ze werden vergeleken.

Hoe voorspellingen beslissingen worden

Het model voorspelt wanneer één factuur wordt betaald. Niemand neemt een beslissing over één factuur. Per dag opgeteld worden dezelfde voorspellingen een netto kaspositie; gesorteerd op blootstelling en verwachte vertraging worden ze een lijst van wie je het eerst moet bellen. Het modelleren houdt op het interessante deel te zijn, precies waar die vertaling begint.