Research Notes: Judicious Use of Multiple Hypothesis Tests

• Published in: Conservation biology 2005-02, Vol.19 (1), p.261-267
• Main Authors: Roback, Paul J, Askins, Robert A
• Format: Article
• Language: English
• ISSN: 0888-8892; 1523-1739
• DOI: 10.1111/j.1523-1739.2005.00269.x

When analyzing a table of statistical results, one must first decide whether adjustment of significance levels is appropriate. If the main goal is hypothesis generation or initial screening for potential conservation problems, then it may be appropriate to use the standard comparisonwise significance level to avoid Type II errors (not detecting real differences or trends). If the main goal is rigorous testing of a hypothesis, however, then an adjustment for multiple tests is needed. To control the familywise Type I error rate (the probability of rejecting at least one true null hypothesis), sequential modifications of the standard Bonferroni method, such as Holm's method, will provide more statistical power than the standard Bonferroni method. Additional power may be achieved through procedures that control the false discovery rate (FDR) (the expected proportion of false positives among tests found to be significant). Holm's sequential Bonferroni method and two FDR-controlling procedures were applied to the results of multiple-regression analyses of the relationship between habitat variables and the abundance of 25 species of forest birds in Japan, and the FDR-controlling procedures provided considerably greater statistical power.Original Abstract: Al analizar una tabla de resultados estadisticos, primero se debe decidir si el ajuste de niveles de significancia es adecuado. Si la meta principal es la generacion de hipotesis o la seleccion inicial de problemas de conservacion potenciales, entonces puede ser apropiado utilizar el nivel de significancia estandar de comparacion para evitar errores de Tipo II (no detectar diferencias reales o tendencias). Sin embargo, si la meta principal es probar una hipotesis rigurosamente, entonces se requiere un ajuste para pruebas multiples. Para controlar la tasa error de Tipo I (la probabilidad de rechazar por lo menos a una hipotesis nula verdadera) modificaciones secuenciales del metodo Bonferroni estandar, como el metodo de Holm, proporcionaran mas poder estadistico que el metodo Bonferroni estandar. Se puede obtener poder adicional por medio de procedimientos que controlan la tasa de descubrimiento falso (la proporcion esperada de falsos positivos entre pruebas que resulta significativa). Se aplicaron el metodo Bonferroni secuencial de Holm y dos procedimientos de tasa de descubrimiento falso (TDF) a los resultados de analisis de regresion multiple de la relacion entre variables de habitat y abundancia de 25 especie