Assessing Quality of Spatial Models Using the Structural Similarity Index and Posterior Predictive Checks

• Published in: Geographical analysis 2014-01, Vol.46 (1), p.53-74
• Main Authors: Robertson, Colin, Long, Jed A., Nathoo, Farouk S., Nelson, Trisalyn A., Plouffe, Cameron C. F.
• Format: Article
• Language: English
• Subjects: Bgi / Prodig; General methodology; Statistical and stochastic methods
• ISSN: 0016-7363; 1538-4632
• DOI: 10.1111/gean.12028

Model assessment is one of the most important aspects of statistical analysis. In geographical analysis, models represent spatial processes, where variability in mapped output results from uncertainty in parameter estimates. Slight spatial misalignments can cause inflated error scores when comparing maps of observed and predicted variables using traditional error metrics at the level of individual spatial units. We conceptualize spatial model assessment as a continuous value map comparison problem and employ methods from image analysis to score model outputs. The structural similarity index, a measure that attempts to replicate the human visual system using a local region approach, is used as an exploratory map comparison statistic. The measure is implemented within a Bayesian spatial modeling framework as a discrepancy measure in a posterior predictive check of model fit. Results are reported for simulation studies representing a variety of spatial processes in a spatial and space–time context. A case study of rainfall mapping in Sri Lanka demonstrates the proposed methodology applied to assessment of Bayesian kriging interpolations. Both simulation studies as well as the case study demonstrate that the approach reveals hidden spatial structure not uncovered by traditional methods. The spatially sensitive assessment methodology provides a diagnostic tool to support spatial modeling and analysis. La evaluación de modelos es uno de los aspectos más importantes de análisis estadístico. En el análisis geográfico, los modelos representan procesos espaciales en los que la variabilidad en los outputs es el resultado de la incertidumbre en los parámetros estimados. Leves desajustes espaciales pueden inflar los valores de error en la comparación entre los mapas de las observaciones y los mapas de las predicciones de las variables si es que se usan medidas tradicionales de medición de error al nivel de unidades espaciales individuales. Los autores conceptualizan la evaluación de modelos espaciales como un problema de comparación mapas de valor continuo y emplea métodos de análisis de imágenes para cuantificar los resultados del modelo. Se utiliza el índice de similitud estructural (SSIM), una medida que intenta replicar el sistema visual humano utilizando un enfoque de región local, como técnica de exploratoria comparación estadística de mapas. El índice es implementado dentro de un marco de modelización espacial bayesiano como medida de discrepancia en la comproba