Page History

Concept

Le moteur de base de données d'origine de MongoDB, MMAPv1, ne supportait pas la compression des données, ce qui entraînait une consommation importante d’espace disque. Le moteur plus récent, WiredTiger, intègre nativement la compression, permettant ainsi de réduire significativement la taille de la base sur le disque. Passer à WiredTiger permet donc d'optimiser l'utilisation de l'espace de stockage.

Préparation

Quel format de donnée le MongoDB utilise ?

Il est fortement recommandé de migrer sur le moteur Wired Tiger, qui permet d'avoir de meilleures performances et un espace disque consommé plus faible (moins de fragmentation et compression de données).

1) Préparation

Vérifier que le type de moteur de stockage est bien mmapv1MMapv1 à l'aide de la commande suivante : 

mongo shinken  --quiet --eval "print(db.serverStatus().storageEngine.name)" --> mmapv1

Ensuite on récupère des stats de la base qui vont nous servir a vérifié que l'on a les données 

Le retour de la commande doit être MMapv1.

Limiter les données sauvegardées en base

Plus la base de données contient de données, plus la migration vers un nouveau moteur de données prendra du temps, notamment en raison du processus de sauvegarde et de restauration des données. Pour cette raison, il peut être judicieux de limiter les données stockées en base avant de procéder à la migration ( voir la page MongoDB - Méthode 1 : Ne garder que les données pertinentes ).

Faire un état des lieux

En premier lieu, il est important de récupérer des statistiques de la base de données qui vont servir plupart à vérifier que la migration de donnée s'est bien passé.

mongo shinken --quiet --eval 'db.getCollectionNames()' | tee db_info.info
mongo shinken --quiet --eval 'printjson(db.adminCommand( { listDatabases: 1 } ));' | tee -a db_info.info
mongo shinken --quiet --eval 'db.getCollection("sla_archive").count();' | tee 

Ces commandes vont afficher et conserver dans le fichier db_info.info

2) Déplacement de la base

respectivement :

• La liste des collections de la base shinken dans une chaîne de caractères séparée par des virgules.
• La liste des bases présentes sur le serveur de production, dans un format JSON.

En fonction de l'architecture, il est possible que des commandes ne retournent rien. Si par exemple, pour exécuter ces commandes sur un serveur qui héberge uniquement la base du Synchronizer, alors seul la deuxième commande retournera des valeurs.

Migration de la base

Il faut éteindre Shinken pour continuer la procédure

Sur la machine de travaille

Vérifier que le type de moteur de stockage est bien mmapv1: 

mongoservice shinken  --quiet --eval "print(db.serverStatus().storageEngine.name)" --> mmapv1

stop

On sauvegarde les données de Shinken :

storage:
     engine: mmapv1

cd /tmp
mongodump -o data_to_migrate

On éteint la base de données et on la vide

et supprimer les données dans la base puis reboot mongod:

service mongod stop
cd /var/lib/mongo
rm -fr *
service mongod start
mongo shinken  --quiet --eval "print(db.serverStatus().storageEngine.name)" --> mmapv1

Eteindre la base et la vide pour préparé la base a récupère les données de la production

Changer le moteur de mmapv1 à wiredTiger. Mettre à jour le fichier /etc/mongod.conf :

storage:
     engine: wiredTiger

Démarrer Mongo

service mongod stop
cd /var/lib/mongo
rm -fr *

Sur la machine de production

Eteindre Shinken, Eteindre mongo, copier les données sur la machine de travaille.

Dans cet exemple on va le faire avec une archive pour que le SCP soit plus rapide si vous avez un très bon débit et des CPU faible sur votre machine de prod fait un scp de /var/lib/mongo direct

start

Vérifier le type de moteur de stockage :

servicemongo shinken stop
cd /var/lib/
tar cvzf mongo.tar.gz mongo/
scp mongo.tar.gz @ADDRESS_MACHINE_DE_TRAVAILLE:/tmp--quiet --eval "print(db.serverStatus().storageEngine.name)"

Le retour de la commande doit être wiredTiger

On restaure les données dans MongoDB

Sur la machine de travaille

On mette les données dans la base

cd /tmp
tar xvzf mongo.tar.gz -C /var/lib/mongo

Vérifier les droits unix et les fichiers dans /var/lib/mongo

mongorestore data_to_migrate

On

ls -als /var/lib/mongo

On redémarre mongo et on vérifie les données dedans avec le fichier dbfichier db_info.info que l'on a crée créé précédemment.

service mongod start
mongo shinken --quiet --eval 'db.getCollectionNames()' 
mongo shinken --quiet --eval 'printjson(db.adminCommand( { listDatabases: 1 } ));' 
mongo shinken --quiet --eval 'db.getCollection("sla_archive").count();' 

Sur la machine de production

Vider la base et redémarrer Shinken

cd /var/lib/mongo
rm -fr *
service mongod start
service shinken start

2) Migration de la base

Démarrer Shinken

Sur la machine de travaille

On peut supprimer les données SLA trop veilles si l'on avait pas mis en place la rotation des SLA

Migration vers Wired Tiger (si nécessaire)

Pour s'assurer que le format de données est WiredTiger, il faut que l'entrée suivante soit dans le fichier /etc/mongod.conf:

storage:
     engine: wiredTiger

Puis relancer la base:

/etc/init.d/mongod start

Ensuite il faut lancer l'import, qui va se faire avec le nouveau format de données, et avec un espace disque consommé minimal:

shinken-restoreservice shinken start