The estimation of an effect size is distinct from assessments of statistical significance. Although they are related, statistical significance is also affected by the size of the sample. The bigger the sample, the more likely an effect will be judged statistically significant.

Wenn in einer statistischen Auswertung mit dem erhobenen Datenmaterial sehr viele statistische Tests durchgeführt werden, oder wenn man sehr viele Studien auswertet, ist wahrscheinlichkeitstheoretisch mit einzelnen signifikanten Ergebnissen zu rechnen, welche dem Zufall und nicht einem kausalen Zusammenhang entspringen.

The statistical significance of any result is affected by both the size of the effect and the size of the sample used to estimate it. The smaller the sample, the less likely a result will be statistically significant regardless of the effect size. Consequently, we can draw no conclusions about the practical significance of a result from tests of statistical significance.

Die Begriffe «signifikant» und «nichtsignifikant» sind Teil unserer Alltagssprache. Wenn etwas signifikant ist, so das allgemeine Verständnis, dann ist ein bestimmter Effekt vermutlich wahr. So einfach ist es mit den Signifikanzen aber nicht. Es ist nämlich relativ einfach, in einem beliebigen Datensatz signifikante Effekte zu entdecken – so einfach, dass es eigentlich die grössere Herausforderung ist, keine signifikanten Ergebnisse zu finden.

Nicht-Signifikanz darf andererseits jedoch nicht als Beweis betrachtet werden, dass kein kausaler Zusammenhang besteht. Nicht-Signifikanz kann auch zustande kommen, wenn zwar ein kausaler Zusammenhang besteht, aber das Studienkollektiv für die untersuchten Expositionsunterschiede zu klein war. Im Einzelfall ist es oft nicht möglich, dies zu beurteilen. In der Fachliteratur wird die mechanische Anwendung des Signifikanzkriteriums bei der Interpretation epidemiologischer Studien insbesondere im Public Health Bereich jedenfalls abgelehnt (ROTHMAN 1986, BURTON et al. 1998).