Page History

Concept

Le moteur de base de données d'origine de MongoDB, MMAPv1, ne supportait pas la compression des données, ce qui entraînait une consommation importante d’espace disque. Le moteur plus récent, WiredTiger, intègre nativement la compression, permettant ainsi de réduire significativement la taille de la base sur le disque. Passer à WiredTiger permet donc d'optimiser l'utilisation de l'espace de stockage.

Préparation

Quel format de donnée le MongoDB utilise ?

Vérifier

Il est fortement recommandé de migrer sur le moteur Wired Tiger, qui permet d'avoir de meilleures performances et un espace disque consommé plus faible (moins de fragmentation et compression de données).

1) Préparation

Sur la machine de production vérifier que le type de moteur de stockage est bien mmapv1MMapv1 à l'aide de la commande suivante : 

mongo shinken  --quiet --eval "print(db.serverStatus().storageEngine.name)" --> mmapv1

Ensuite on récupère des stats de la base qui vont nous servir a vérifié que l'on a les données 

Le retour de la commande doit être MMapv1.

Limiter les données sauvegardées en base

Plus la base de données contient de données, plus la migration vers un nouveau moteur de données prendra du temps, notamment en raison du processus de sauvegarde et de restauration des données. Pour cette raison, il peut être judicieux de limiter les données stockées en base avant de procéder à la migration ( voir la page MongoDB - Méthode 1 : Ne garder que les données pertinentes ).

Faire un état des lieux

En premier lieu, il est important de récupérer des statistiques de la base de données qui vont servir plupart à vérifier que la migration de donnée s'est bien passé.

mongo shinken --quiet --eval 'db.getCollectionNames()' | tee db_info.info
mongo shinken --quiet --eval 'printjson(db.adminCommand( { listDatabases: 1 } ));' | tee -a db_info.info
mongo shinken --quiet --eval 'db.getCollection("sla_archive").count();' | tee db

Ces commandes vont afficher et conserver dans le fichier db_info.info

2) Déplacement de la base

respectivement :

• La liste des collections de la base shinken dans une chaîne de caractères séparée par des virgules.
• La liste des bases présentes sur le serveur de production, dans un format JSON.

En fonction de l'architecture, il est possible que des commandes ne retournent rien. Si par exemple, pour exécuter ces commandes sur un serveur qui héberge uniquement la base du Synchronizer, alors seul la deuxième commande retournera des valeurs.

Migration de la base

Il faut éteindre Shinken pour continuer la procédure

service shinken stop

On sauvegarde les données de Shinken :

cd /tmp
mongodump -o data_to_migrate

On éteint la base de données et on la vide

Sur la machine de travaille vérifier que le type de moteur de stockage est bien mmapv1: 

mongo shinken  --quiet --eval "print(db.serverStatus().storageEngine.name)" --> mmapv1

Pour changer le moteur si ce n'est pas le bon, mettre dans le fichier /etc/mongod.conf

storage:
     engine: mmapv1

et supprimer les données dans la base puis reboot mongod:

service mongod stop
cd /var/lib/mongo
rm -fr *
service mongod start
mongo shinken  --quiet --eval "print(db.serverStatus().storageEngine.name)" --> mmapv1

Eteindre la base et la vide pour préparé la base a récupère les données de la production

service mongod stop
cd /var/lib/mongo
rm -fr *

Sur la machine de production

Eteindre Shinken, Eteindre mongo, copier les données sur la machine de travaille.

Dans cet exemple on va le faire avec une archive pour que le SCP soit plus rapide si vous avez un très bon débit et des CPU faible sur votre machine de prod fait un scp de /var/lib/mongo direct

cd /var/lib/
tar cvzf mongo.tar.gz mongo/
scp mongo.tar.gz @ADDRESS_MACHINE_DE_TRAVAILLE:/tmp

Sur la machine de travaille :

On mette les données dans la base

cd /tmp
tar xvzf mongo.tar.gz mongo/
scp mongo.tar.gz @ADDRESS_MACHINE_DE_TRAVAILLE:/tmp

Restauration sur le même serveur

Changer le moteur de mmapv1 à wiredTiger. Mettre à jour le fichier /etc/mongod.conf :

storage:
     engine: wiredTiger

Démarrer Mongo

service mongod start

Vérifier le type de moteur de stockage :

mongo shinken --quiet --eval "print(db.serverStatus().storageEngine.name)"

Le retour de la commande doit être wiredTiger

On restaure les données dans MongoDB

cd /tmp
mongorestore data_to_migrate

On vérifie les données dedans avec le fichier db_info.info que l'on a créé précédemment.

mongo shinken --quiet --eval 'db.getCollectionNames()'
mongo shinken --quiet --eval 'printjson(db.adminCommand( { listDatabases: 1 } ));'

Démarrer Shinken

service shinken start

Si vous souhaitez réutiliser le même serveur, il va falloir:

• Arrêter mongo
• Supprimer ses données
• S'assurer que le format de données est bien WiredTiger
• Restaurer les données

Arrêter MongoDB:

/etc/init.d/mongod stop

Supprimer les données:

rm -rf /var/lib/mongo/*

Migration vers Wired Tiger (si nécessaire)

Pour s'assurer que le format de données est WiredTiger, il faut que l'entrée suivante soit dans le fichier /etc/mongod.conf:

storage:
     engine: wiredTiger

Puis relancer la base:

/etc/init.d/mongod start

Ensuite il faut lancer l'import, qui va se faire avec le nouveau format de données, et avec un espace disque consommé minimal:

shinken-restore