Description

La méthode pour sauvegarder et restaurer manuellement la rétention dépend du type de module de rétention utilisé par vos Schedulers :

• Le module PickleRetentionFile ( voir le chapitre  Sauvegarde et restauration de la rétention avec le module PickleRetentionFile ) ;
• Le module MongodbRetention ( voir le chapitre Sauvegarde et restauration de la rétention avec le module MongodbRetention ) ;

Sauvegarde et restauration de la rétention avec le module PickleRetentionFile

Où trouver la rétention Pickle

Lorsque le module PickleRetentionFile est utilisé, la sauvegarde de la rétention se fait dans un fichier situé par défaut au chemin suivant : /var/lib/shinken/

Il est possible que ce chemin ait changé en fonction de la configuration des modules PickleRetentionFile utilisés par vos Schedulers.

Voici un exemple complet de nom de fichier de rétention Pickle : 

/var/lib/shinken/retention.dat_--_realm--all_--_scheduler--scheduler-master_--_id--0.retention

Comment sauvegarder la rétention Pickle

Pour sauvegarder ces fichiers de rétention, il suffit de les copier à l'endroit souhaité avec la commande cp <source> <destination> :

cp /var/lib/shinken/retention.dat_--_realm--all_--_scheduler--scheduler-master_--_id--0.retention /root/retention_save/

Cette commande va copier le fichier de rétention retention.dat_--_realm--all_--_scheduler--scheduler-master_--_id--0.retention dans le dossier nommé /root/retention_save/

Comment restaurer la rétention Pickle

Restauration des fichiers de rétention

Pour restaurer un fichier de rétention Pickle, il suffit de le remettre à l'endroit depuis lequel ils ont été copiés : /var/lib/shinken/

Si les fichiers ont été copiés dans un dossier nommé /root/retention_save/, alors la commande pour restaurer la rétention devrait ressembler à ça :

cp /root/retention_save/retention.dat_--_realm--all_--_scheduler--scheduler-master_--_id--0.retention /var/lib/shinken/ 

Redémarrage du Scheduler

Après avoir restauré les fichiers de rétention, il faut redémarrer le Scheduler pour que les changements fassent effet :

service shinken-scheduler restart

Sauvegarde et restauration de la rétention avec le module MongodbRetention

Où se trouve la rétention dans Mongo

Avec le module MongodbRetention, la rétention se trouve dans la base shinken ( par défaut ) dans les collections retention_hosts_raw et retention_services_raw.

Comment sauvegarder la rétention MongodbRetention

Avant de lancer la sauvegarde

Avant de sauvegarder la rétention, il est conseillé ( si possible ) de redémarrer le Scheduler afin de forcer la rétention, et donc d'avoir des données plus fraiches : 

service shinken-scheduler restart

Détails de la commande mongodump

Pour enregistrer les données de ces collections, on utilise la commande mongodump :

mongodump -d DATABASE_NAME -c COLLECTION_NAME -h HOST_NAME --poty=HTTP_PORT --ssl -o OUTPUT_NAME

Explication des paramètres :

-d DATABASE_NAME

-c COLLECTION_NAME

-h HOST_NAME

--port=HTTP_PORT

--ssl

-o OUTPUT_NAME

Ces deux commandes vont créer deux dossiers à l'emplacement /root/retention_mongo/ ( assurez-vous que ce chemin existe ) nommé retention_hosts_11_10_2021 et retention_services_11_10_2021 contenant des fichiers .json et .bson qui contiennent les données des collections correspondantes.

Comment faire la sauvegarde

Il faut que vous utilisiez la commande mongodump en fonction de votre situation : 

• Vous êtes sur la machine qui héberge les données de la rétention => Il s'agit une sauvegarde en local
• Sinon, vous pouvez faire la sauvegarde de la machine où vous êtes en ciblant le serveur avec les données.

La configuration de votre module de rétention vous donnera l'information du serveur MongoDB où sont les données de rétention.

Sauvegarde de la rétention sur une MongoDB en local

Pour sauvegarder la rétention dans deux dossiers retention_hosts_11_10_2021 et retention_services_11_10_2021 depuis un MongoDB sur le même serveur où ces commandes sont lancées :

mongodump -d shinken -c retention_hosts_raw -o /root/retention_mongo/retention_hosts_11_10_2021
mongodump -d shinken -c retention_services_raw -o /root/retention_mongo/retention_services_11_10_2021

Sauvegarde de la rétention sur une MongoDB sur un autre serveur

Pour sauvegarder la rétention dans deux dossiers retention_hosts_11_10_2021 et retention_services_11_10_2021 depuis un MongoDB sur un serveur hébergé sur un serveur nommé host_bordeaux et où MongoDB utilise le port 27018.

mongodump -d shinken -c retention_hosts_raw -h host_bordeaux --port=27018 -o /root/retention_mongo/retention_hosts_11_10_2021
mongodump -d shinken -c retention_services_raw -h host_bordeaux --port=27018 -o /root/retention_mongo/retention_services_11_10_2021

Sauvegarde de la rétention sur une MongoDB sur un autre serveur qui utilise le SSL

Pour sauvegarder la rétention dans deux dossiers retention_hosts_11_10_2021 et retention_services_11_10_2021 depuis un MongoDB sur un serveur hébergé sur un serveur nommé host_bordeaux, où MongoDB utilise le port 27017 ( port par défaut ) et utilisant le SSL :

mongodump -d shinken -c retention_hosts_raw -h host_bordeaux --ssl -o /root/retention_mongo/retention_hosts_11_10_2021
mongodump -d shinken -c retention_services_raw -h host_bordeaux --ssl -o /root/retention_mongo/retention_services_11_10_2021

Exemple de retour avec succès de la commande

Comment restaurer la rétention MongodbRetention

Avant de sauvegarder la rétention

Avant d'effectuer la restauration de la rétention, il est conseillé d'éteindre le Scheduler :

service shinken-scheduler stop

Détails de la commande mongorestore

La restauration des données issues de la commande mongodump se fait avec la commande mongorestore :

mongorestore --drop --ssl -h HOST_NAME --port=HTTP_PORT RETENTION_FOLDER_PATH

--drop

--ssl

-h HOST_NAME

--port=HTTP_PORT

RETENTION_FOLDER_PATH

Comment faire la restauration

Il faut que vous utilisiez la commande mongorestore en fonction de votre situation : 

• Vous êtes sur la machine qui héberge les données de la rétention => Il s'agit une restauration local
• Sinon, vous pouvez faire la restauration depuis la machine où vous êtes en ciblant le serveur où mettre les données.

La configuration de votre module de rétention vous donnera l'information du serveur MongoDB où doivent être les données de rétention.

Restauration d'une rétention sur un MongoDB en local

Cette commande va restaurer dans un MongoDB local les données contenues dans le dossier /root/retention_hosts_11_10_2021/

mongorestore --drop /root/retention_hosts_11_10_2021/

Restauration d'une rétention sur un MongoDB sur un autre serveur

Cette commande va restaurer dans un MongoDB sur un serveur nommé host_bordeaux où MongoDB utilise le port 27018 les données contenues dans le dossier /root/retention_hosts_11_10_2021/

mongorestore --drop -h host_bordeaux --port=27018 /root/retention_hosts_11_10_2021/

Restauration d'une rétention sur un MongoDB sur un autre serveur qui utilise le SSL

Cette commande va restaurer dans un MongoDB sur un serveur nommé host_bordeaux avec le port 27018 et utilisant le SSL, les données contenues dans le dossier /root/retention_hosts_11_10_2021/

mongorestore --drop --ssl -h host_bordeaux --port=27018 /root/retention_hosts_11_10_2021/

Exemple de retour avec succès d'une commande de restauration

Après la restauration de la rétention

Une fois la restauration terminée, vous pouvez redémarrer le Scheduler :

service shinken-scheduler start

Cas particulier de l'utilisation d'un cluster MongoDB

Si vous utilisez MongoDB en mode cluster, les commandes restent les mêmes, à la nuance près qu'il faut préciser le port du bon service et il faut s'assurer d'avoir fait la sauvegarde de tous les replicaset.

• Pour sauvegarder l'entièreté d'un replicaset, il faut s'assurer de lancer les commandes sur le service mongos et non mongod.
• Pour utiliser un service plutôt que l'autre, il suffit de trouver et utiliser son port à fournir aux commandes.

Vérifier la présence du service mongos

Pour vérifier si un mongos est sur un serveur et qu'il est opérationnel, il est possible de vérifier en demandant le statut du service mongos :

service mongos status

Si un processus mongos tourne sur le serveur sur lequel la commande a été lancée, alors le retour de la commande devrait ressembler à ça :

● mongos.service - SYSV: Mongo is a scalable, document-oriented database.
   Loaded: loaded (/etc/rc.d/init.d/mongos; bad; vendor preset: disabled)
   Active: active (running) since Tue 2021-10-19 11:04:58 CEST; 53min ago
     Docs: man:systemd-sysv-generator(8)
  Process: 2805 ExecStart=/etc/rc.d/init.d/mongos start (code=exited, status=0/SUCCESS)
   CGroup: /system.slice/mongos.service
           └─2820 /usr/bin/mongos -f /etc/mongos.conf

Trouver le port du service mongos

Le port se trouve dans le fichier de configuration de mongos ( par défaut dans /etc/mongos.conf ) :

...

# network interfaces
net:
  port: 27018
  bindIp: 192.168.1.100

sharding:
    configDB: primary:27019, secondary1:27019, secondary2:27019


...

Le port souhaité est celui indiqué dans la section "net", dans notre exemple, ce sera le port du service mongos est 27018.

Exemples de restauration et de sauvegarde

Après avoir trouvé le port du bon service, disons 27018, il faut le renseigner aux commandes de sauvegarde et de restauration :

Exemple de sauvegarde

Exemple de restauration

Faire la sauvegarde et restauration de tous les replicaset

Pour sauvegarder et restaurer l'entièreté d'un cluster MongoDB, il faut faire le tour de tous les replicaset.

Il peut y avoir plusieurs services mongos chargés des mêmes replicaset, il n'est pas nécessaire de faire une sauvegarde / restauration par mongos, mais une par replicaset.

Pour vérifier quel replicaset un service mongos est chargé, vous pouvez utiliser cette commande :

mongo --quiet --port MONGOS_PORT --eval "printjson(rs.status().set)"

Cette commande retourne le nom du replicaset gérée par le service ayant le port 27018.

Exemple de retour :

$ mongo --quiet --port 27018 --eval "printjson(rs.status().set)"
"replicaset-name"

Une fois vos replicaset identifiés, vous pouvez lancer les commande de sauvegarde et de restauration sur un mongos par replicaset.

Les détails de ces commandes sont disponibles dans ces chapitres :

• Détails de la commande mongodump
• Détails de la commande mongorestore