Page History

La base de données va se fragmenter au fil des insertions/suppression d'éléments et le volume des données va devenir plus faible que l'espace disque consommé (dans /var/lib/mongo). Il est possible de surveiller cet écart de consommation et même le réduire.

Il est fortement recommandé de migrer sur le moteur Wired Tiger, qui permet d'avoir de meilleures performances et un espace disque consommé plus faible (moins de fragmentation et compression de données).

1) Préparation

Sur la machine de production

Vérifier que le type de moteur de stockage est bien mmapv1: 

mongo shinken  --quiet --eval "print(db.serverStatus().storageEngine.name)" --> mmapv1

Ensuite on récupère des statistiques de la base qui vont nous servir à vérifier que l'on a les données.

mongo shinken --quiet --eval 'db.getCollectionNames()' | tee db_info.info
mongo shinken --quiet --eval 'printjson(db.adminCommand( { listDatabases: 1 } ));' | tee db_info.info
mongo shinken --quiet --eval 'db.getCollection("sla_archive").count();' | tee db_info.info

2) Déplacement de la base

Sur la machine de travail

Vérifier que le type de moteur de stockage est bien mmapv1: 

mongo shinken  --quiet --eval "print(db.serverStatus().storageEngine.name)" --> mmapv1

Pour changer le moteur si ce n'est pas le bon, mettre dans le fichier /etc/mongod.conf

storage:
     engine: mmapv1

et supprimer les données dans la base puis redémarrer mongod:

service mongod stop
cd /var/lib/mongo
rm -fr *
service mongod start
mongo shinken  --quiet --eval "print(db.serverStatus().storageEngine.name)" --> mmapv1

Éteindre la base et la vider pour préparer la base à récupérer les données de la production

service mongod stop
cd /var/lib/mongo
rm -fr *

Sur la machine de production

Éteindre Shinken et mongo puis copier les données sur la machine de travail.

Dans cet exemple on va le faire avec une archive pour que le SCP soit plus rapide si vous avez un très bon débit et des CPU faible sur votre machine de prod fait un scp de /var/lib/mongo direct

service shinken stop
service mongo stop
cd /var/lib/
tar cvzf mongo.tar.gz mongo/
scp mongo.tar.gz @ADDRESS_MACHINE_DE_TRAVAIL:/tmp
service mongo start
service shinken start

Sur la machine de travail

On mette les données dans la base

cd /tmp
tar xvzf mongo.tar.gz -C /var/lib/mongo

Vérifier les droits unix et les fichiers dans /var/lib/mongo

ls -als /var/lib/mongo

On redémarre mongo et on vérifie les données dedans avec le fichier db_info.info que l'on a crée précédemment

service mongod start
mongo shinken --quiet --eval 'db.getCollectionNames()' 
mongo shinken --quiet --eval 'printjson(db.adminCommand( { listDatabases: 1 } ));' 
mongo shinken --quiet --eval 'db.getCollection("sla_archive").count();' 

2) Migration de la base

Sur la machine de travail

On peut supprimer les données SLA trop veilles si l'on avait pas mis en place la rotation des SLA

/var/lib/shinken/libexec/tools/shinken-sla-delete-until --nb-day=365

--nb-day=365 : Pour garder 365 jours de données SLA

Sur la machine de production

Modifier le paramètre nb_stored_days du module sla, par défaut dans /etc/shinken/modules/sla.cfg pour mettre le même nombre de jour que mis précédemment.

Note : Il n'est nécessaire de redémarrer Shinken maintenant se sera fait plus tard dans la procédure.

Sur la machine de travail

On dump les données d'archive SLA et la base des events.

mongodump -d shinken -c sla_archive 
mongodump -d event_container -c ec_datas

Eteindre la base et la vider

service mongod stop
cd /var/lib/mongo
rm -fr *

Changer le moteur pour wiredTiger. Mettre dans le fichier /etc/mongod.conf :

storage:
     engine: wiredTiger

Redémarrer mongo

service mongod start

Vérifier que le type de moteur de stockage est bien wiredTiger: 

mongo shinken  --quiet --eval "print(db.serverStatus().storageEngine.name)" --> wiredTiger

On redémarre mongo et on restaure les donnée dedant

service mongod start
mongorestore dump

On vérifie les données dedans avec le fichier db_info.info que l'on a crée précédemment.

Note : le nombre de sla_archive doit avoir changer vus que on en a supprimé et il ne doit rester qu'une collection : sla_archive 

mongo shinken --quiet --eval 'db.getCollectionNames()' 
mongo shinken --quiet --eval 'printjson(db.adminCommand( { listDatabases: 1 } ));' 
mongo shinken --quiet --eval 'db.getCollection("sla_archive").count();' 

Eteindre Shinken, Eteindre mongo, copier les données sur la machine de production.

Dans cet exemple on va le faire avec une archive pour que le SCP soit plus rapide si vous avez un très bon débit et des CPU faible sur votre machine de prod fait un scp de /var/lib/mongo direct

service mongo stop
cd /var/lib/
tar cvzf mongo.tar.gz mongo/
scp mongo_wiredTiger.tar.gz @ADDRESS_MACHINE_DE_PRODUCTION:/tmp

Sur la machine de production

On coupe Shinken. on supprime les archives SLA et les events, on dump la base

service shinken stop
mongo shinken --quiet --eval 'db.sla_archive.drop()'
mongo event_container --quiet --eval 'db.ec_datas.find({event_since: {"$gte": new Date("2021-04-12 12:00:00.000Z")}}).forEach(function(docs){db.ec_datas_backup_migration_mongo_engine.insert(docs);})' <-- Mettre la date et l'heurs du transfert sur la machine de travaille (date du mongo.tar.gz) 
mongo event_container --quiet --eval 'db.ec_datas.drop()'
mongodump 

Eteindre la base et la vider

Changer le moteur pour wiredTiger. Mettre dans le fichier /etc/mongod.conf :

Code Block
language yml theme Emacs
storage: engine: wiredTiger

Copier les données de /tmp/mongo_wiredTiger.tar.gz dans /var/lib/mongo

Code Block
theme Emacs
cd /tmp tar xvzf mongo_wiredTiger.tar.gz -C /var/lib/mongo

Vérifier les droits unix et les fichiers dans /var/lib/mongo

Code Block
theme Emacs
ls -als /var/lib/mongo

Redémarrer mongo

Code Block
theme Emacs
service mongod start

Vérifier que le type de moteur de stockage est bien wiredTiger: 

Code Block
theme Emacs
mongo shinken --quiet --eval "print(db.serverStatus().storageEngine.name)" --> wiredTiger

Et restaurer les données de production

Code Block
theme Emacs
mongorestore dump