XMatch

15 November 2016

Objectif

Tester la performance d’un cluster Spark virtualisé dans le cadre d’un calcul de cross matching sur des données célestes. Le code XMatch m’a été fourni par André Schaff et François-Xavier Pineau (Université de Strasbourg/Observatoire astronomique de Strasbourg). Les jeux de données sont respectivement de 50Go et 60Go.

Descriptif des ressources

1 master Spark (gabarit m1.medium)

  • 2 CPU (XEON E5-2630 2.4GHz)
  • RAM:4GB
  • Disque dur de 40 GB

8 workers Spark (gabarit m1.xlarge)

  • 6 CPU (XEON E5-2630 2.4GHz)
  • RAM:16GB
  • Disque dur de 160 GB

Auteur:
Frédéric Gaudet

(gaudet@isima.fr)
IR CNRS