A new method for robust mixture regression

• Published in: Canadian journal of statistics 2017-03, Vol.45 (1), p.77
• Main Authors: Yu, Chun, Yao, Weixin, Chen, Kun
• Format: Article
• Language: English
• Subjects: Parameter estimation
• ISSN: 0319-5724; 1708-945X
• DOI: 10.1002/cjs.11310

Finite mixture regression models have been widely used for modelling mixed regression relationships arising from a clustered and thus heterogenous population. The classical normal mixture model, despite its simplicity and wide applicability, may fail in the presence of severe outliers. Using a sparse, case-specific, and scale-dependent mean-shift mixture model parameterization, we propose a robust mixture regression approach for simultaneously conducting outlier detection and robust parameter estimation. A penalized likelihood approach is adopted to induce sparsity among the mean-shift parameters so that the outliers are distinguished from the remainder of the data, and a generalized Expectation-Maximization (EM) algorithm is developed to perform stable and efficient computation. The proposed approach is shown to have strong connections with other robust methods including the trimmed likelihood method and M-estimation approaches. In contrast to several existing methods, the proposed methods show outstanding performance in our simulation studies. The Canadian Journal of Statistics 45: 77-94; 2017 © 2016 Statistical Society of Canada Résumé Les modèles de régression à mélange fini sont largement utilisés pour modéliser la relation de régression mixte qui émerge de données par grappes issues de populations hétérogènes. Malgré sa simplicité et sa large applicabilité, le modèle de mélange normal classique peut échouer en présence de valeurs fortement aberrantes. Les auteurs proposent un modèle de mélange à décalage des moyennes dont la paramétrisation clairsemée et spécifique au cas dépend de l'échelle. Ils proposent une méthode robuste de régression par mélange qui détecte les valeurs aberrantes et estime les paramètres simultanément. Ils adoptent une approche par vraisemblance pénalisée qui force les paramètres de décalage à être clairsemés afin que les valeurs aberrantes se démarquent des autres données. Ils développent également un algorithme d'espérance-maximisation (EM) qui permet des calculs stables et efficaces. Les auteurs montrent que leur méthode possède de forts liens avec d'autres approches robustes, notamment la vraisemblance tronquée et les M-estimateurs. Ils présentent des simulations dans le cadre desquelles leur approche offre une performance exceptionnelle contrairement à de nombreuses méthodes existantes. La revue canadienne de statistique 45: 77-94; 2017 © 2016 Société statistique du Canada