Very high resolution image matching based on local features and k-means clustering

• Published in: Photogrammetric record 2015-06, Vol.30 (150), p.166-186
• Main Authors: Sedaghat, Amin, Ebadi, Hamid
• Format: Article
• Language: English
• Subjects: Harris corners; image matching; k-means clustering; MSER; Photogrammetry; Remote sensing; UR-SIFT; very high resolution image
• ISSN: 0031-868X; 1477-9730
• DOI: 10.1111/phor.12101

Image matching is a critical process in photogrammetry and remote sensing. Automatic and reliable feature matching using well‐distributed points in very high resolution images is a difficult task due to significant relief displacement caused by tall buildings and ground relief. In this paper a robust and efficient image‐matching approach is proposed, consisting of two main steps. In the first step, three sets of local features – Harris points, UR‐SIFT and MSER – are extracted over the entire image. A SIFT (scale‐invariant feature transform) descriptor is then created for each extracted feature, and an initial cross‐matching verification is performed using the Euclidean distance between feature descriptors. In the second step, an approach based on k‐means clustering is performed to achieve accurate matching without mismatched features, followed by a consistency check using a local affine transformation model for each cluster. The proposed method is successfully applied to matching various aerial and satellite images and the results demonstrate its robustness and capability. Résumé L'appariement d'image est une opération critique en photogrammétrie et en télédétection. Apparier des primitives de manière fiable et automatique en utilisant des points bien répartis dans des images à très haute résolution est une tâche difficile en raison d'importants déplacements dus aux bâtiments et au relief naturel. Cet article propose une approche robuste et efficace d'appariement d'images, composée de deux étapes principales. La première étape consiste à extraire dans l'image entière trois ensembles de primitives locales – points de Harris, UR‐SIFT et MSER. Un descripteur SIFT est alors créé pour chaque primitive extraite, et une première vérification est effectuée au moyen d'un appariement utilisant la distance euclidienne entre les descripteurs extraits. Lors de la deuxième étape, un algorithme de partitionnement basé sur les k‐moyennes permet d'obtenir un appariement précis sans aucune primitive non appariée, suivi d'un test de consistance utilisant un modèle local de transformation affine pour chaque région. La méthode proposée a permis d'apparier avec succès plusieurs images aériennes et spatiales et les résultats montrent sa robustesse et ses performances. Zusammenfassung Die digitale Bildzuordnung ist ein kritischer Prozess in der Photogrammetrie und der Fernerkundung. Wegen signifikanter Reliefversetzung durch hohe Gebäude und bewegtem Gelände, ist eine automatisch