Le module MongodbRetention est un module de rétention qui permet de stocker dans une base mongo les différents statuts et contextes des éléments de Shinken. Après un redémarrage, les éléments récupèreront leurs statuts à partir de ce qui a été stocké par le module.
Pour plus d'explication sur le principe de la rétention, voir Rappel du fonctionnement de la rétention.
Ce module ne peut être activé que sur un Scheduler.
MongodbRetention".Exemple: par défaut, nous livrons un module dont le nom est "MongodbRetention".
define scheduler {
[...]
modules MongodbRetention
[...]
} |
Pour prendre en compte le changement de configuration, redémarrez l'Arbiter:
service shinken-arbiter restart |
Dans Shinken Entreprise, lorsque des éléments sont en supervision, des vérifications régulières sont effectuées sur les hôtes, clusters et checks.
Cette rétention s'effectue au niveau du démon Scheduler qui est chargé d'ordonnancer la vérification des éléments et de récupérer et analyser les résultats de ces vérifications.
Pour plus d'informations sur le fonctionnement de la rétention dans Shinken voir La rétention des données des Schedulers.
Pour chaque élément activé dans la configuration ( hôte, check ou cluster ), les données suivantes sont sauvegardées entre autres:
| Type de donnée | Commentaire |
|---|---|
| Identifiant unique de l'élément | L'UUID est un champ interne à Shinken permettant d'identifier un élément ( hôte, check ou cluster ) de manière unique. |
| Données d'ordonnancement | Date de la dernière et de la prochaine vérification. |
| Statut actuel | Statut actuel de l'élément. |
| Dernier changement de statut | Date du dernier changement de statut et statut précédent. |
| Contexte | Indique si l'hôte est en Flapping, à une Prise en compte ou des périodes de maintenance. Dans le cas des Périodes de maintenance et des Prises en compte, l'auteur, date et commentaire sont également sauvegardés. |
| Résultat et résultat long | Résultat et résultat long de la dernière vérification. |
| Contacts | Ensemble des contacts ( identifiés par leur nom ) qui ont reçu une notification concernant l'élément. |
| Problèmes sources | Lorsque l'élément possède des liens avec d'autres éléments, lorsque cet élément est en erreur, l'identifiant unique des autres éléments affectés est également sauvegardé. Aussi, si un élément en erreur a affecté l'élément actuel, l'identifiant unique de l'élément source du problème est sauvegardé. |
La configuration du module se trouve par défaut dans le fichier /etc/shinken/modules/retention-mongodb.cfg
#===============================================================================
# MongodbRetention
#===============================================================================
# Daemons that can load this module:
# - scheduler
# This module save scheduler retention data (element state and scheduling) into a mongodb server
#===============================================================================
define module {
# Shinken Enterprise. Lines added by import core. Do not remove it, it's used by Shinken Enterprise to update your objects if you re-import them.
_SE_UUID core-module-d98ab73a5adb11e5a2df080027f08538
_SE_UUID_HASH c8c8f39897b928ee624da45934b38fd9
# End of Shinken Enterprise part
#======== Module identity =========
# Module name. Must be unique
module_name MongodbRetention
# Module type (to load module code). Do not edit.
module_type mongodb_retention
#======== Mongodb connection =========
# uri: to connect the mongodb server
uri mongodb://localhost/?safe=false
#======== IMPORTANT =============
# Note that if the parameter "use_ssh_tunnel" is set to 1,
# the mongodb connection will be launched through a SSH tunnel
# opened from the scheduler server to the mongodb server.
# It will automatically parse the URI parameter to get the distant server
# and will create a SSH tunnel by using either the user defined by the "ssh_user" property
# or the shinken user.
# The SSH key used for this is the one that is automatically generated
# at the installation or the key defined by the parameter "ssh_keyfile".
# You can deploy it by launching on the scheduler server:
# ssh-copy-id -i ~shinken/.ssh/id_rsa.pub shinken@MONGODB-SERVER
# If you want to secure your mongodb connection you can enable the ssh use_ssh_tunnel that will
# allow all mongodb to be encrypted & authenticated with SSH
# Should use a SSH tunnel (Default 0=False)
# use_ssh_tunnel 0
# If the SSH connection goes wrong, then retry use_ssh_retry_failure time
# Default: 1
# use_ssh_retry_failure 1
# SSH user/keyfile in order to connect to the mongodb server.
# Default: shinken
# ssh_user shinken
# Default: ~shinken/.ssh/id_rsa
# ssh_keyfile ~shinken/.ssh/id_rsa
# Timeout used to test if the SSH tunnel is viable or not
# Default: 2
# ssh_tunnel_timeout 2
# Timeout for reading 5000 item in second
# Default value : 10s
# mongo_timeout 10
# Number of retry if mongo is not accessible
# Default value : 3
# mongo_max_connections_retry 3
# Delay before next retry
# Default value : 1s
# mongo_wait_before_retry 1
# database: which mongodb database to use
database shinken
# Advanced option if you are running a cluster mongodb environment
# replica_set
# Retention SAVE:
# the retention save will spawn process workers (max to 4) and
# such process can fail (timeout)
# Worker timeout: Global time for your workers to work. If a worker still
# runs after worker_timeout seconds (and so numerous try)), then it will be killed and the error will
# be raised into your monitoring
# Default: 120
# worker_timeout 120
# Worker try timeout: Time for a one try data save. If one worker process still runs after
# worker_one_try_timeout seconds, it will be killed and a new worker process will be spawn
# to replace it
# note: it must be lower than the worker_timeout
# Default: 30
# worker_one_try_timeout 30
# Max number of workers: if you want to limit the number of workers launched, you can change this parameter
# By default the number of workers will be the number of CPUs but no more than max_number_of_workers (by default 4)
# max_number_of_workers 4
#======== Memory protection =========
# Are the module worker process are waiting for enough
# memory to be available before being launch. Default: 1 (enabled)
scheduler__retention_mongo__enable_sub_processes_memory_usage_protection 1
# The sub process memory usage protection can have a system reserved memory
# that won't be used by theses sub process when launched
# By default: 0 (no reserved memory)
# Example: 10 (means 10% of the total memory is reserved for the system)
scheduler__retention_mongo__sub_process_memory_usage_system_reserved_memory 0
# If a sub process cannot be started because of the protection, how many seconds
# it will be retry and wait that the system memory is freed until it fail to start
# By default: 5 (seconds)
scheduler__retention_mongo__sub_processes_memory_usage_protection_max_retry_time 5
#======== INTERNAL options =========
#INTERNAL : DO NOT EDIT FOLLOWING PARAMETER WITHOUT YOUR DEDICATED SUPPORT
# == Number of day we conserve retention data, after this time, we will delete data. By default it is 7 days ==
#nb_of_max_retention_day 7
# == maximum number of elements load in one bulk pass ==
#size_chunk_to_load 1000
# == maximum number of elements delete in one bulk pass ==
#size_chunk_to_delete 1000
} |
Il est possible de définir plusieurs instances de module de type "MongodbRetention" dans votre architecture Shinken.
Il est conseillé de n'avoir plusieurs modules de rétention que dans le cas d'une migration. (Ex: passage d'une base de données base1 à une base2, on aura un module MongodbRetention avec la base1, un autre avec la base2, on désactivera alors le premier module pour le prochain redémarrage)) |
| Nom | Type | Unité | Défaut | Commentaire | |
|---|---|---|---|---|---|
| Texte | --- | MongodbRetention | Nous vous conseillons de choisir un nom en fonction de l'utilisation du module pour que votre configuration soit simple à maintenir. Doit être unique. | |
| Texte | --- | mongodb_retention | Ne peut être modifié. |
Cette configuration s'effectue dans le fichier de configuration du module.
Pour se connecter à la base MongoDB utilisée pour le stockage des données, 2 méthodes sont disponibles:
#======== Mongodb connection =========
# uri: to connect the mongodb server
uri mongodb://localhost/?safe=false
# Timeout for reading 5000 item in second
# Default value : 10s
# mongo_timeout 10
# Number of retry if mongo is not accessible
# Default value : 3
# mongo_max_connections_retry 3
# Delay before next retry
# Default value : 1s
# mongo_wait_before_retry 1
# database: which mongodb database to use
database shinken
# Advanced option if you are running a cluster mongodb environment
# replica_set |
| Nom | Type | Unité | Défaut | Commentaire | |
|---|---|---|---|---|---|
| Texte | URL | mongodb://localhost/?w=1&fsync=false | Vous pouvez trouver la syntaxe de l'uri de MongoDB à l'adresse https://docs.mongodb.com/manual/reference/connection-string/ | |
| Texte | --- | shinken | Nom de la base de données où sont stockés les données de rétention | |
| Entier | secondes | 10 | Temps maximum de lecture de 5000 éléments dans la base mongo. Si ce temps est dépassé, le module considère la base comme inaccessible. | |
| Entier | --- | 3 | Défini le nombre d'essai de reconnexion à la base mongo si celui-ci est inaccessible | |
| Entier | secondes | 1 | Nombre de secondes à attendre entre chaque essai de connexion à la base mongo | |
| Texte | --- | --- | Nom du replica-set. Utilisé uniquement dans le cas d'un cluster MongoDB qui possède plusieurs replica_sets ( espaces de stockage ). | |
Par défaut, le module se connecte de manière directe à la base MongoDB pour y lire et écrire les données.
Dans la configuration du module, on sait que la connexion se fait de manièree directe lorsque le paramètre "use_ssh_tunnel" est à 0.
La sécurisation de la base MongoDB est bien sûr toujours possible ( voir Sécurisation des connexions aux bases MongoDB ) mais bien plus complexe à mettre en place.
# If you want to secure your mongodb connection you can enable the ssh use_ssh_tunnel that will # allow all mongodb to be encrypted & authenticated with SSH # Should use a SSH tunnel (Default 0=False) # use_ssh_tunnel 0 # If the SSH connection goes wrong, then retry use_ssh_retry_failure time # Default: 1 # use_ssh_retry_failure 1 # SSH user/keyfile in order to connect to the mongodb server. # Default: shinken # ssh_user shinken # Default: ~shinken/.ssh/id_rsa # ssh_keyfile ~shinken/.ssh/id_rsa # Timeout used to test if the SSH tunnel is viable or not # Default: 2 # ssh_tunnel_timeout 2 |
La méthode de connexion par SSH est donc préférable pour des raisons pratiques et de sécurité.
En effet, le paramétrage de MongoDB permet de définir sur quelle interface réseau ce dernier écoute les requêtes.
En n'autorisant seulement interface réseau avec l'adresse 127.0.0.1, cela évite d'ouvrir la base au monde extérieur.
Dans la configuration de la base MongoDB ( /etc/mongod.conf ), assurez-vous que le paramètre "bind_ip" est positionné pour n'écouter que sur l'interface locale:
bind_ip=127.0.0.1Dans cette configuration la base MongoDB écoute que sur l'interface réseau local, pour que le module se connecte, il faut passer par un tunnel SSH. Pour ce faire, activez les options suivantes :
| Nom | Type | Unité | Défaut | Commentaire | |
|---|---|---|---|---|---|
| Booléen | --- | 0 |
| |
| Entier | Nombre d'essais | 1 | Spécifie le nombre supplémentaire de tentatives lors de l'établissement du tunnel SSH si ce dernier n'arrive pas à être établi | |
| Texte | utilisateur unix | shinken | L'utilisateur avec lequel le tunnel sera établi | |
| Texte | chemin de fichier | ~shinken/.ssh/id_rsa | La clé SSH privée présente sur le serveur Shinken qui sera utilisé pour établir le tunnel. | |
| Entier | secondes | 10 | Spécifie le timeout en secondes de la vérification du tunnel SSH avant que la connexion vers MongoDB soit effectuée |
Le tunnel SSH va permettre au module de se connecter comme si ses requêtes étaient locales à la base MongoDB ( en 127.0.0.1 )
Copiez la clé publique sur le serveur mongo
root@serveur_shinken # su - shinken shinken@serveur_shinken $ ssh-keygen shinken@serveur_shinken $ ssh-copy-id user_distant@serveur_mongo [...] shinken@serveur_shinken $ ssh user_distant@serveur_mongo user_distant@serveur_mongo $ |
# Retention SAVE:
# the retention save will spawn process workers (max to 4) and
# such process can fail (timeout)
# Worker timeout: Global time for your workers to work. If a worker still
# runs after worker_timeout seconds (and so numerous try)), then it will be killed and the error will
# be raised into your monitoring
# Default: 120
# worker_timeout 120
# Worker try timeout: Time for a one try data save. If one worker process still runs after
# worker_one_try_timeout seconds, it will be killed and a new worker process will be spawn
# to replace it
# note: it must be lower than the worker_timeout
# Default: 30
# worker_one_try_timeout 30
# Max number of workers: if you want to limit the number of workers launched, you can change this parameter
# By default the number of workers will be the number of CPUs but no more than max_number_of_workers (by default 4)
# max_number_of_workers 4 |
Afin de répartir la tâche de sauvegarde de la rétention sur plusieurs processus, le module utilise des workers qui travailleront en parallèle. Il est possible de les configurer via les paramètres suivants :
| Nom | Type | Unité | Défaut | Commentaire | ||
|---|---|---|---|---|---|---|
| Entier | --- | 4 | Nombre de workers maximum( nombre de clone du module ) qui traitent la sauvegarde de la rétention en parallèle. Un worker sera créé pour chaque CPU disponible sur la machine, mais jamais plus que la limite définie par ce paramètre.
| ||
| Entier | secondes | 120 | Temps maximum d'exécution d'un worker. Si ce temps est dépassé le worker est éteint et une erreur est remontée. | ||
| Entier | secondes | 30 | Temps maximum d'exécution d'une sauvegarde au sein d'un worker. Si ce temps est dépassé le worker est éteint et une erreur est remontée. (Ne doit pas être plus grand que le |
#======== Memory protection =========
# Are the module worker process are waiting for enough
# memory to be available before being launch. Default: 1 (enabled)
scheduler__retention_mongo__enable_sub_processes_memory_usage_protection 1
# The sub process memory usage protection can have a system reserved memory
# that won't be used by theses sub process when launched
# By default: 0 (no reserved memory)
# Example: 10 (means 10% of the total memory is reserved for the system)
scheduler__retention_mongo__sub_process_memory_usage_system_reserved_memory 0
# If a sub process cannot be started because of the protection, how many seconds
# it will be retry and wait that the system memory is freed until it fail to start
# By default: 5 (seconds)
scheduler__retention_mongo__sub_processes_memory_usage_protection_max_retry_time 5 |
Au démarrage du module, des workers sont créés comme vu précédemment. Ces workers consomment de la mémoire RAM. Il est possible de configurer une protection pour éviter de créer des workers si ceux-ci seront en manque de mémoire RAM.
| Nom | Type | Unité | Défaut | Commentaire | |
|---|---|---|---|---|---|
| Booléen | --- | 1 |
| |
| Entier | pourcentage | 0 | Pourcentage de mémoire réservé au système (qui ne sera donc pas utilisé par le module et ses workers). Par défaut, 0, signifie que rien n'est réservé au système. | |
| Entier | secondes | 5 | Si la protection mémoire est active, ce temps défini l'attente maximum du module avant de considérer que son démarrage est en échec si il n'y a pas assez de mémoire disponible. |
#======== INTERNAL options ========= #INTERNAL : DO NOT EDIT FOLLOWING PARAMETER WITHOUT YOUR DEDICATED SUPPORT # == Number of day we conserve retention data, after this time, we will delete data. By default it is 7 days == #nb_of_max_retention_day 7 # == maximum number of elements load in one bulk pass == #size_chunk_to_load 1000 # == maximum number of elements delete in one bulk pass == #size_chunk_to_delete 1000 |
Il est possible de définir certains paramètres de gestion de la rétention tel que le nombre de jours à garder
Cette partie ne doit pas être modifiée sans votre support |
| Nom | Type | Unité | Défaut | Commentaire | |
|---|---|---|---|---|---|
| Entier | jours | 7 | Nombre de jours avant de supprimer une donnée de rétention | |
| Entier | --- | 1000 | Nombre maximum d'éléments chargés depuis la base en une fois | |
| Entier | --- | 1000 | Nombre maximum d'éléments qui peuvent être supprimés de la base en une fois |
Les données de rétention via le module MongodbRetention sont donc sauvegardées via le moteur de base de données Mongodb.
La base utilisée par défaut pour la rétention est la base shinken.
Afin de distinguer les hôtes des checks, deux collections sont utilisées :
Voici la visualisation des collections via l'utilitaire RoboMongo permettant de se connecter aux bases Mongodb :