Model selection using a simplex reproduction genetic algorithm

• Published in: Signal processing 1999, Vol.78 (3), p.321-327
• Main Authors: Vesin, Jean-Marc, Grüter, Reto
• Format: Article
• Language: English
• Subjects: Applied sciences; Exact sciences and technology; Genetic algorithm; Information, signal and communications theory; Linear regression; Model selection; Signal and communications theory; Signal, noise; Telecommunications and information theory
• ISSN: 0165-1684; 1872-7557
• DOI: 10.1016/S0165-1684(99)00072-9

In this paper, we show how a simple genetic algorithm (GA) using a simplex reproduction scheme can efficiently be applied to regression model selection. Fast and accurate convergence of this scheme is first demonstrated in an experiment on linear autoregressive model selection and on an extension to nonlinear polynomial models. In a further application, the GA is used for effective center selection of a radial basis function (RBF) network. The center-selection strategy is compared to the well-known orthogonal least-squares learning (OLS) algorithm. For center subsets of various sizes, the GA provides better models than the OLS algorithm. In dieser Arbeit zeigen wir, wie ein einfacher genetischer Algorithmus (GA) unter Verwendung eines einfachen Reproduktionsschemas auf wirkungsvolle Art zur Auswahl eines Regressionsmodells eingesetzt werden kann. Die schnelle und genaue Konvergenz dieses Schemas wir zunächst an einem Experiment zur Auswahl eines linearen autoregressiven Modells demonstriert und danach an einer Erweiterung auf nichtlineare polynomiale Modelle. In einer weiteren Anwendung wird der GA für die wirkungsvolle Auswahl der Zentren eines Netzwerks mit radialen Basisfunktionen (RBF) eingesetzt. Die Strategie zur Auswahl der Zentren wird mit dem allgemein bekannten Lernalgorithmus der orthogonalen kleinsten Quadrate (OLS) verglichen. Für unterschiedlich grosse Teilmengen von Zentren liefert der GA bessere Modelle als der OLS Algorithmus. Nous montrons dans cet article comment un algorithme génétique (GA) simple utilisant une approche de reproduction de type simplex peut être appliqué à la sélection de modèles de régression. La convergence rapide et précise de cette méthode est tout d'abord démontrée dans une expérience de sélection de modèle autorégressif linéaire et son extension aux modèles non linéaires polynomiaux. Dans une seconde application, le GA est utilisé pour la sélection efficiente des centres d'un réseau de fonctions radiales (RBF). Cette stratégie de sélection des centres est comparée à l'algorithme d'apprentissage aux moindres carrés orthogonal (OLS). Pour des sous-ensembles initiaux de centres de tailles variées, le GA produit de meilleurs modèles que l'algorithme OLS.