Waarom individuele statistieken falen bij MRP-modellen

Jeroen Vermeer · 2026-03-17

Vorig jaar ontdekten we iets belangrijks: individueel verlies is niet ideaal voor het kiezen van MRP-modellen. Of zoals we het noemden: 'individualisme werkt niet'. Het voelt een beetje als proberen het weer te voorspellen door alleen naar je eigen tuin te kijken. ### Het verschil tussen individueel en populatieniveau In typische machine learning kijken we naar individueel verlies - Loss(y_i, yhat_i). Dat is alsof je elke persoon apart bekijkt. Maar bij MRP (Multilevel Regression and Poststratification) gaat het om iets anders. We willen weten wat er op populatieniveau gebeurt: Loss(E[Y], E[yhat_i]). Hier is E[Y] het onbekende populatiegemiddelde en E[yhat_i] onze MRP-schatting. Het probleem? Het model dat individueel verlies minimaliseert in je steekproef, is niet per se het beste voor de hele populatie. Dat is alsof je een restaurant beoordeelt op basis van één gerecht, terwijl je het hele menu moet begrijpen. ### Waarom gewichten alleen niet genoeg zijn Kuh en collega's probeerden in 2023 een gewogen individueel verlies. Ze dachten: als we elk individu het juiste gewicht geven, komt het wel goed. Maar nee - de modellen bleven anders scoren dan bij populatieniveau verlies. Het zit 'm niet alleen in de weging, maar in de aggregatie zelf. Hier zit de crux: bij individueel verlies hebben we de waarheid y_i in onze enquête. Dat is concreet, meetbaar. Maar bij populatieniveau verlies missen we de grondwaarheid E[Y]. We schieten in het duister. ### De oplossing van Kennedy en cross-validatie Kennedy en team vervingen in 2024 E[Y] met de klassieke poststratificatieschatting E[ybar_X]. Slim, maar er zit een addertje onder het gras. Dit wordt geminimaliseerd wanneer de multilevel regressie simpelweg ybar_X is - een datasamenvatting in plaats van een geregulariseerd model. Het gevaar? Overfitting aan je enquêtegegevens, waardoor het model slecht generaliseert naar de echte wereld. Vergelijk het met een student die alleen leert voor de toetsvragen die hij kent, maar het echte begrip mist. Zoals in ESL (The Elements of Statistical Learning) pakken Kennedy en collega's dit aan met cross-validatie. Het is een manier om te checken of je model echt begrijpt wat het doet, of alleen maar trucjes heeft geleerd. ### Praktische implicaties voor jouw werk Wat betekent dit allemaal voor jou als professional? Laten we even samenvatten: - Individuele data zijn belangrijk, maar vertellen niet het hele verhaal - Populatieschattingen vereisen een andere manier van denken - Gewichten alleen lossen het aggregatieprobleem niet op - Cross-validatie is je beste vriend tegen overfitting Stel je voor: je werkt aan een gezondheidsenquête. Je kunt perfect voorspellen hoe elke individuele respondent scoort, maar toch de algemene trend in de bevolking missen. Dat is het verschil tussen bomen zien en het bos begrijpen. ### De kunst van balans vinden Het draait allemaal om balans vinden. Tussen individuele precisie en populatie-accuraatheid. Tussen complexe modellen en overzichtelijke resultaten. Tussen wat je kunt meten en wat je moet schatten. Een goede MRP-praktijk combineert beide werelden. Je gebruikt individuele data om je model te trainen, maar evalueert het op populatieniveau. Je regulariseert om overfitting te voorkomen, maar houdt genoeg complexiteit om patronen te vangen. Het is geen exacte wetenschap - meer een kunst. Maar met de juiste tools en dit inzicht, maak je betere voorspellingen voor de echte wereld. En dat is waar het uiteindelijk om draait, toch?