Er is een nieuw boek getiteld The Cult of Statistical Significance door Stephen T. Ziliak en Deirdre N. McCloskey dat me een belangrijk boek lijkt. Het boek laat zien hoe veel wetenschappelijke disciplines veel te sterk leunen op het concept van statistische significantie. Ik heb het boek gelezen en ik vind het overtuigend. De auteurs laten zien hoe statistische significantie de aandacht heeft afgeleid van ‘werkelijke’ significantie. Met andere woorden: de focus op statistische significantie betekent vaak dat onderzoekers nalaten om zich af te vragen of hun bevindingen er toe doen. In statistiek wordt een resultaat statistisch significant genoemd wanneer het onwaarschijnlijk is dat het door toeval is opgetreden. Het doen van een statistische significantietoets is dus het stellen van de vraag hoe waarschijnlijk het is dat een effect bestaat. Via een significantietoets proberen onderzoekers hier achter te komen door te kijken naar hoe precies een effect gemeten kan worden. Een significantietoets beantwoordt niet de vraag hoe sterk en belangrijk een effect is. En deze laatste vraag over de effectgrootte is veel belangrijker vanuit een wetenschappelijk en een praktisch perspectief. Statistische significantie impliceert niet dat een effect belangrijk is; gebrek aan significantie betekent niet dat een effect niet belangrijk is. Misschien vraagt u zich af: hoe kan een effect belangrijk zijn dat niet significant is? Het antwoord heeft te maken met HOE een statistische significantietoets probeert te beantwoorden of een effect wel of niet bestaat. Dit is namelijk door te kijken naar HOE PRECIES het (veronderstelde) effect kan worden gemeten. Er zijn omstandigheden waarin een effect belangrijk is maar niet precies kan worden gemeten. Dit zou het geval zijn wanneer er veel variabiliteit in het effect zit. Wanneer een effect sterk EN variabel is (bijvoorbeeld variërend tussen 30 en 70) zeggen statistische significantietests dat het effect niet precies gemeten kan worden wat kan leiden tot de conclusie: niet statistisch significant. Tegelijkertijd, een sterker effect met een lagere variabiliteit (bijvoorbeeld variërend tussen 4 en 5) zou meer precies kunnen worden gemeten wat zou kunnen leiden tot een conclusie ‘statistisch significant’. Het is belangrijk om vast te stellen dat dit boek GEEN pleidooi is tegen kwantitatieve research of tegen statistische analyses. In tegendeel. Het is een pleidooi voor het doen van deze dingen op een goede manier door de focus op effectgroottes terug te brengen.