Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.
Comment: Make by tools (01.00.01) - action=same_as_next_version
Scroll Ignore
scroll-viewporttrue
scroll-pdftrue
scroll-officetrue
scroll-chmtrue
scroll-docbooktrue
scroll-eclipsehelptrue
scroll-epubtrue
scroll-htmltruefalse
Panel
titleSommaire

Table of Contents
stylenone

Description

Concept

Le module event-manger-writer est un module de type event_container permet de disposer de la fonctionnalité bac à événements qui permet du bac à événement ( voir la page Vue - Les Événements ).

Ce module peut s'accrocher :

  • sur un Broker pour gérer l'écriture des événements en base de
donnée.
Warning

Pour que la fonctionnalité bac à événement fonctionne, il faut absolument que ce module soit activé.

Info(warning) Il ne peut y avoir qu'un 
  • données ( nous livrons par défaut un module nommé event-manager-
writer par base Mongo.

Donc par exemple avec 2 brokers sur la même machine

  • soit, vous n'activez le module que sur un Broker
  • soit, vous configurez le module pour écrire dans une autre base.
  • writer ) ;
  • sur un module de type webui, pour gérer l'affichage des événements ( nous livrons par défaut un module nommé event-manager-reader ) ;


Nous détaillerons ici la configuration du module quand il écrit les données.


Warning

Pour que la fonctionnalité de bac à événement puisse afficher des événements à jour, il faut absolument que ce module soit activé sur un Broker pour écrire les évènements en base.

Warning

 Il ne peut y avoir qu'un event-manager-writer par base MongoDB.

  • Donc, pour avoir plusieurs modules qui écrivent sur le même serveur MongoDB, il faut les configurer pour écrire dans des bases différentes ( voir le paramètre database ci-dessous ).
  • Cependant, il est fortement déconseillé de configurer plusieurs modules sur un même serveur MongoDB, en raison des ressources qu'un module peut requérir ( bande passante disque et occupation disque )


Il faut porter une attention particulière sur le volume de la base d'événements, dû au fonctionnement du module et des informations qu'il stocke.


FONCTIONNEMENT :

  • Un élément ( hôte, cluster, checks ) peut avoir :
    • peu de changements d'état, consommant ainsi une place raisonnable,
    • avoir une oscillation de son état ( alternance de pannes et de retour OK ), et ainsi enregistrer beaucoup de changements d'état.

  • Le souci est que la place prise par un changement d'état est variable, car chaque événement stocké contient le résultat court et le résultat long.
    • Surveiller la taille de la base d'événement avec le modèle d'hôte : Modèle

Vous devrez porter une attention particulière sur le volume de votre base d'événements.

Un élément ( hôte, cluster, checks ) peut avoir

  • seulement 2 changements d'états, prenant une place raisonnable
  • mais s’il est en état FLAPPING, il peut enregistrer beaucoup de changement d'état.
Le souci est que la place prise par un changement d'état est variable, car chaque événement stocké contient le résultat court et le résultat long.
Surveiller la taille de votre base d'événement avec le check :
    • shinken-broker-module-event-manager-writer
.

Activation du module

Le module est un module qui peut être activé seulement sur le démon Broker.
  • L'activation du module s'effectue en ajoutant le nom de ce module dans le fichier de configuration du démon Broker.
  • Pour ce faire, ouvrer le fichier de configuration du Broker à l'emplacement /etc/shinken/modules/, et ajouter le nom de votre module "event-manager-writer".

Exemple: par défaut, nous livrons un module dont le nom est "event-manager-writer":

Code Block
languagebash
define broker {
    [...]
    modules                   Module 1, Module 2, Module 3, event-manager-writer
    [...]
}
Pour prendre en compte le changement de configuration, redémarrer l'Arbiter:
Code Block
service shinken-arbiter restart

Configuration

La configuration du module que nous livrons par défaut se trouve dans le fichier  /etc/shinken/modules/event_manager_writer.cfg

  • Vous trouverez aussi systématiquement un exemple dans /etc/shinken-user-example/configuration/daemons/brokers/modules/event_manager_writer/event_manager_writer.cfg

Exemple de fichier de configuration

    • ).

  • Pour un élément donné, le changement de statut ( OK, Attention, Critique, Inconnu ) ou un changement de contexte ( Flapping, Downtime, Acknowledged ) créera une nouvelle entrée dans la liste des événements.


    Info
    titleA NOTER

    Un cas modifie une entrée déjà enregistrée : Quand le statut d'un élément passe de l'état non confirmé à l'état confirmé, sans autre changement de son statut ou de son contexte, l'événement le décrivant est mis à jour.

    • La colonne Confirmation de Statut est modifiée pour indiquer que ce statut a été confirmé.

    • la colonne Date de confirmation de Statut est modifiée pour indiquer à partir de quand le statut a été confirmé, la colonne Date du changement indiquant toujours quand le statut ( en état non confirmé ) a démarré.

Activation du module

Les modules de type "event_container" vont gérer l'écriture des événements en base de données quand ils sont activés sur un démon de type "broker", qu'on appellera le démon parent.

  • L'activation du module s'effectue en ajoutant le nom du module dans la configuration du démon parent.
    • Pour cela, il faut ouvrir le fichier de configuration du démon parent ( de type "broker"), et ajouter dans le paramètre modules, le nom du module de type "event_container".

  • Il est possible de créer plusieurs modules de type "event_container" pour écrire les données en base de données.
    • Cela permet, par exemple, d'avoir des configurations différentes en fonction des royaumes.

  • Tous les éléments supervisés doivent avoir un module de type "event_container" attaché à un Broker du royaume, ou d'un royaume parent, pour que les événements qu'ils génèrent soient enregistrés en base de données.

Pour prendre en compte le changement de configuration, il faut redémarrer l'Arbiter :

Code Block
languagetext
themeEmacs
service shinken-arbiter restart

Exemple d'activation du module nommé "event-manager-writer" sur le démon "broker-master" ( configuration livrée par défaut par Shinken )

L'exemple suivant

  • active le module "event-manager-writer" ,
  • sur le démon "broker-master", dont la configuration est dans le fichier /etc/shinken/brokers/broker-master.cfg.


Modification dans le fichier du module/etc/shinken/brokers/broker-master.cfg :

Code Block
languagejs
themeConfluence
define broker {
    [...]
    modules                   Module 1, Module 2, Module 3, event-manager-writer
    [...]
}

Puis redémarrage de l'Arbiter

Code Block
languagetext
themeEmacs
service shinken-arbiter restart

Créer un nouveau module de type event_container pour l'enregistrement des événements

Pour pouvoir configurer un module de type "event_container" pour l'enregistrement des événements, il faut créer un nouveau fichier de configuration grâce au fichier d'exemple fourni par défaut.

  • Pour commencer, il faut choisir le nom du nouveau module.
    • Pour l'exemple, on l'appelle "Mon-Module-event-manager-writer".
    • Remplacer dans l'exemple le mot "Mon-Module-event-manager-writer" par le nom qui a été choisi.
  • Puis il faut créer le fichier de configuration : 
    • Copier le fichier de définition du module d'exemple : /etc/shinken-user-example/configuration/daemons/brokers/modules/event_manager_writer/event_manager_writer-example.cfg dans le répertoire de définition des modules  /etc/shinken/modules/ .
      ( Exemple : /etc/shinken/modules/broker__Mon-Module-event-manager-writer.cfg )

      Scroll Title
      title
      Code Block
      languagetext
      themeEmacs
      cp /etc/shinken-user-example/configuration/daemons/brokers/modules/event_manager_writer/event_manager_writer-example.cfg /etc/shinken/modules/broker__Mon-Module-event-manager-writer.cfg
  • Ensuite, il faut modifier le fichier nouvellement créé pour configurer le nouveau module.
    • Il faut vérifier que le fichier appartienne à l'utilisateur shinken et qu'il possède le droit d'édition. Si ce n'est pas le cas, il faut effectuer les commandes suivantes :

      Code Block
      languagetext
      themeEmacs
      chown shinken:shinken /etc/shinken/modules/broker__Mon-Module-event-manager-writer.cfg
      chmod u+w /etc/shinken/modules/broker__Mon-Module-event-manager-writer.cfg
    • On change le nom du module en "Mon-Module-event-manager-writer" dans le fichier /etc/shinken/modules/broker__Mon-Module-event-manager-writer.cfg

      Code Block
      languagejs
      themeConfluence
      ...     
      	# ─── Module name [ Must be unique ]
Code Block
languagejs
#================================================================================ # event manager #================================================================================ # Daemons that can load this module: # - broker (to save events information into a mongodb database) # This module compute and save event for event manager #================================================================================ define module { # ┌─────────────────────────────────────────────────────────────────────────────────────────────────────┐ # # │ ────────────────────────────────────── MODULE IDENTITY ────────────────────────────────────── │ # # └─────────────────────────────────────────────────────────────────────────────────────────────────────┘ # # ─── Module name [ Must be unique ] [ MANDATORY ] ─── # ─── ─── module_name event-manager-writer # ─── Module type [ Do not edit ]
    •                                                       [ MANDATORY ] ───
          # ───                                                                                                   ───
          module_
type
    • name                                         Mon-Module-event-manager-writer
      ...
      
  • Ensuite, il faut ajouter le nouveau module dans la liste des module du Broker correspondant.

    • Dans notre exemple, on ajoute le module "Mon-Module-event-manager-writer" au  démon "broker-master" défini dans le fichier /etc/shinken/brokers/broker-master.cfg

      Code Block
      languagejs
      themeConfluence
      define broker { 
      	[...] 
      	modules       					Module 1, Module 2, Module 
event_container
    • 3, Mon-Module-event-manager-writer
          [...] 
      }


  • Puis pour finir, il faut redémarrer l'Arbiter pour que le Broker puisse prendre en compte ce nouveau module.

    Code Block
    languagetext
    themeEmacs
    service shinken-arbiter restart

Configuration

La configuration du module que Shinken livre par défaut se trouve dans le fichier  /etc/shinken/modules/event_manager_writer.cfg.

  • un exemple dans /etc/shinken-user-example/configuration/daemons/brokers/modules/event_manager_writer/event_manager_writer-example.cfg.

Exemple de fichier de configuration

Code Block
languagejs
themeConfluence
#================================================================================
# event manager
#================================================================================
# Daemons that can load this module:
#  - broker (to save events information into a mongodb database)
# This module compute and save event for event manager
#================================================================================

define module {

    # ┌─────────────────────────────────────────────────────────────────────────────────────────────────────┐ #
    # │ ──────────────────────────────────────    MODULE IDENTITY    ────────────────────────────────────── │ #
    # └─────────────────────────────────────────────────────────────────────────────────────────────────────┘ #

    # ─── Module name [ Must be unique ]          # ┌─────────────────────────────────────────────────────────────────────────────────────────────────────┐ #
    # │ ──────────────────────────────────────    MODULE OPTIONS    ─────────────────────────────────────── │ #
    # └─────────────────────────────────────────────────────────────────────────────────────────────────────┘ #

    # ─── Number of day the events are kept in database                                                     ───
    #                                                                                                       ───
    #          Default : 30 ( days )                               [ MANDATORY ] ───
    # ───                                 ───
    #                                                              ───
    module_name                                     ───
    # day_keep_dataevent-manager-writer

    # ─── Module type [ Do not edit ]                            30

    # ┌─────────────────────────────────────────────────────────────────────────────────────────────────────┐ #
    #  ────────────────────────────────────    DATABASE CONNECTION    ────────────────────────────────────  #
    # └─────────────────────────────────────────────────────────────────────────────────────────────────────┘ #

[ MANDATORY ] ───
 # ─────────────────  MongoDB# parameters───  ────────────────────────────────────────────────────────────────── 

    # ─── MongoDB uri definition . You can find the mongodb uri syntax at                                   ───
    # ─── https://docs.mongodb.com/manual/reference/connection-string/                                      ───
    #module_type                                         event_container

    # ┌─────────────────────────────────────────────────────────────────────────────────────────────────────┐ #
    #  ──────────────────────────────────────    MODULE OPTIONS    ───────────────────────────────────────  #
    # └─────────────────────────────────────────────────────────────────────────────────────────────────────┘ #

    # ─── Number of day the events are kept in database                   ───
    #          Default : mongodb://localhost/?w=1&fsync=false                  ───
    #                         ───
    #                                                                          ───
    #           Default : 30 ( days )         ───
    # uri                                                 mongodb://localhost/?w=1&fsync=false

    # ─── Which database contains───
 events data  # ───                                                            ───
    #                                   ───
    # day_keep_data                                       30

    # ┌─────────────────────────────────────────────────────────────────────────────────────────────────────┐ #
    #  ────────────────────────────────────    DATABASE CONNECTION    ────────────────────────────────────   ───#
    # └─────────────────────────────────────────────────────────────────────────────────────────────────────┘ #

    # ─────────────────  MongoDB Defaultparameters : event_container ──────────────────────────────────────────────────────────────── #

    # ─── MongoDB uri definition . You can find the mongodb uri syntax at                                   ───
    # ─── https://docs.mongodb.com/manual/reference/connection-string/         ───
    #                         ───
    #                                                                          ───
    # database                        ───
    #           Default : mongodb://localhost/?w=1&fsync=false   event_container

    # ─── SSH tunnel activation to secure your mongodb connection                              ───
    # ───        ───
    # ─── That will allow all mongodb to be encrypted & authenticated with SSH                              ───
    #                                        ───
    # uri                                                 mongodb://localhost/?w=1&fsync=false

    # ─── Which database contains ───
events data   #          ...     : Enable  => 1 ( enable ssh tunnel )                                    ───
    #         ───
    #          Default : Disable => 0 ( disable ssh tunnel )                                                ───
    #                   ───
    #           Default : event_container                                                                   ───
    # use_ssh_tunnel───                                      0

    # ─── If the SSH connection goes wrong, then retry use_ssh_retry_failure time before_shinken_inactive   ───
    #                                      ───
    # database                                            event_container

    # ─── username/password to authenticate to MongoDB.      ───
    #          Default : 1 ( try )                            ───
    # ─── Both parameters must be provided for authentication to         function correctly.                        ───
    #    ───                                                                                                   ───
    # use_ssh_retry_failure  broker__module_event_manager_writer__database__username

    # ───                             1

     # ─── SSH user to connect to the mongodb server.                                                        ───
    # broker__module_event_manager_writer__database__password

    # ─── SSH tunnel activation to secure your mongodb connection                                           ───
    # ─── That will allow all mongodb to be encrypted & authenticated with SSH                              ───
    #            Default : shinken                                                                            ───
    #         ───
    #           ...     : Enable  => 1 ( enable ssh tunnel )                                                ───
    #           Default : ───
Disable => 0 ( #disable ssh_user tunnel )                                               shinken
───
    # ─── SSH keyfile to connect to the mongodb server.                                                     ───
    #                                  ───
    # use_ssh_tunnel                                      0

    # ─── If the SSH connection goes wrong, then retry use_ssh_retry_failure         time before_shinken_inactive   ───
    #          Default : ~shinken/.ssh/id_rsa                                                               ───
    #                        ───
    #           Default : 1 ( try )                                                           ───
    # ssh_keyfile         ───
    # ───                           ~shinken/.ssh/id_rsa

    # ─── SSH Timeout used to test if the SSH tunnel is viable or not, in seconds.                          ───
    #                      ───
    # use_ssh_retry_failure                               1

    # ─── SSH user to connect to the mongodb server.                                  ───
    #          Default : 10 ( seconds )   ───
    #                                                              ───
    #                                     ───
    #           Default : shinken                                                 ───
     # ssh_tunnel_timeout                    ───
    # ───         10

    # ──────────────  AutoReconnect Management  ─────────────────────────────────────────────────────────────── 

    # ─── When MongoDB require you to reconnect ( For example, It can occur when a new PRIMARY is elected   ───
    # ─── in a MongoDB cluster ), it will raised the MongoDB AutoReconnect exception.                       ───

    # ─── How many try to reconnect before module go───
 in error  # ssh_user                                            ───shinken

    # ─── SSH keyfile to connect to the mongodb server.                                                     ───
    #                                     ───
            #          Default : 4 ( try )                                       ───
    #           Default : ~shinken/.ssh/id_rsa                  ───
          #                                  ───
    # ───                                                                ───
    # auto_reconnect_max_try                              4
───
    # ─── Time between each try ssh_keyfile                                         ~shinken/.ssh/id_rsa

    # ─── SSH Timeout used to test if the SSH tunnel is viable or not, in seconds.                          ───
    #                                                                                                       ───
    #           Default : 310 ( seconds )                                                                      ───
    #    ───                                                                                                   ───
    # autossh_reconnect_sleep_between_trytunnel_timeout                    3

    # ─── NOTE: Change these values only if you have a MongoDB cluster and you change the                       10

    # ──────────────  AutoReconnect Management  ───────────────────────────────────────────────────────────── #

    # ─── When MongoDB require you to reconnect ( For example, It can occur when a new PRIMARY is elected   ───
    # ─── in a MongoDB cluster ), it heartbeatTimeoutSecswill ofraised yourthe MongoDB AutoReconnect exception. replica set                     ───

    # ─── How many try to reconnect before module go in error        ───
    # ───       The value of auto_reconnect_max_try * auto_reconnect_sleep_between_try must be higher than  ───
    # ───       heartbeatTimeoutSecs in the rs.conf(); of your MongoDB replica set. ───
    #                         ───

    # ┌─────────────────────────────────────────────────────────────────────────────────────────────────────┐ #
    #  ───────────────────────────────────    WORKERS IN THE BROKER    ───────────────────────────────────  #
    # └─────────────────────────────────────────────────────────────────────────────────────────────────────┘ #

    # ─── This module will use workers in the broker, each worker will manage a shard of all hosts/checks.  ───
    # ─── This parameter is used by the broker to set the number of workers.     ───
    #           Default : 4 ( try  )      ───
    # ─── Each worker will use one CPU, which will balance the event processing load among CPUs.            ───
    #                               ───
    # ───                                                                   ───
    #          Default : 1 ( worker )             ───
    # auto_reconnect_max_try                              4

    # ─── Time between each try               ───
    #                                                          ───
    #                                         ───
    # broker_module_nb_workers                            1

    # ┌─────────────────────────────────────────────────────────────────────────────────────────────────────┐ #
    #  ─────────────────────────────────────    INTERNAL OPTIONS    ──────────────────────────────────────  #
    # └─────────────────────────────────────────────────────────────────────────────────────────────────────┘ #
───
    # ─── INTERNAL : DO NOT EDIT FOLLOWING PARAMETER WITHOUT YOUR DEDICATEDDefault SUPPORT: 3 ( seconds    )                  ───

    # ─── Broker idle time before considering that Shinken is inactive.                                     ───
    # ─── Use this if you have Broker loop time that exceeds 30 seconds                                     ───
    #                                              ───
    # auto_reconnect_sleep_between_try                    3

    # ─── NOTE: Change these values only if you have a MongoDB cluster and you change the            ───
    #   ───
    # ───  Default : 30 ( seconds )heartbeatTimeoutSecs of your MongoDB replica set                                            ───
    # ───       The value of auto_reconnect_max_try * auto_reconnect_sleep_between_try must be higher than  ───
    # ───       heartbeatTimeoutSecs in the rs.conf(); of your MongoDB replica set.                         ───

    # ┌─────────────────────────────────────────────────────────────────────────────────────────────────────┐ #
    #  ───────────────────────────────────    WORKERS IN THE BROKER    ───────────────────────────────────  #
    # └─────────────────────────────────────────────────────────────────────────────────────────────────────┘ #

    # ─── This module will use workers in the broker, each worker will manage a shard of all hosts/checks.  ───
      # ───
 This parameter  # time_before_shinken_inactiveis used by the broker to set the number of workers.                                30

}

Détails des sections composant le fichier de configuration

Identification du module

Il est possible de définir plusieurs instances de module de type event-manager-writer. Chaque instance devra avoir un nom unique.

NomTypeUnitéDéfautCommentaire
Code Block
source_name 
Texte---event-manager-writerNous vous conseillons de choisir un nom en fonction de l'utilisation du module pour que votre configuration soit simple à maintenir.
Code Block
module_type 
Texte---event_containerNe peux être modifié.

Taille du bac d'événement en nombre de jours

Code Block
languagejs
    # ┌─────────────────────────────────────────────────────────────────────────────────────────────────────┐ #───
    # ─── Each worker will use one CPU, which will balance the event processing load among CPUs.            ───
    # ──────────────────────────────────────    MODULE OPTIONS    ───────────────────────────────────────  #
    # └─────────────────────────────────────────────────────────────────────────────────────────────────────┘ #
 
    # ─── Number of day the events are kept in database                                                     ───
    #             ───
    #           Default : 1 ( worker )                                                                      ───
    # ───         Default : 30 ( days )                                                                                          ───
    # broker_module_nb_workers                            1

    # ┌─────────────────────────────────────────────────────────────────────────────────────────────────────┐ #
    #  ─────────────────────────────────────    INTERNAL OPTIONS    ──────────────────────────────────────  #
    # └─────────────────────────────────────────────────────────────────────────────────────────────────────┘ #

    # ─── INTERNAL : DO NOT EDIT FOLLOWING PARAMETER WITHOUT YOUR DEDICATED SUPPORT                         ───

    ───
# ─── Broker idle time before considering that Shinken is inactive.             # day_keep_data                       ───
    # ─── Use this if you have Broker loop time that  30

Le paramètre "day_keep_data" permet de choisir le nombre de jours qu'un événement sera gardé dans votre base.

NomTypeUnitéDéfautCommentaire
Code Block
day_keep_data
Entierjours 30

Durée en nombre de jour d'un événement dans le bac à événement.

Accès à la base MongoDB

Cette configuration s'effectue dans le fichier de configuration du module.

Pour se connecter à la base MongoDB utilisé pour le stockage des données, 2 méthodes sont disponibles:

  • Connexion directe: Par défaut, mais non sécurisée.
  • Tunnel SSH: Shinken se connecte à la base MongoDB au travers d'un module SSH pour plus de sécurité
Connexion directe au serveur Mongo
Code Block
languagejs
    # ─────────────────  MongoDB parameters  ──────────────────────────────────────────────────────────────────
 
    # ─── MongoDB uri definition . You can find the mongodb uri syntax atexceeds 30 seconds                                     ───
    #                                                                                       ───
    # ─── https://docs.mongodb.com/manual/reference/connection-string/                                      ───
    #           Default : 30 (                     seconds )                                                                    ───
    #   ───       Default : mongodb://localhost/?w=1&fsync=false                                               ───
    #                                       ───
    # time_before_shinken_inactive                        30

}

Détails des sections composant le fichier de configuration

Identification du module

Il est possible de définir plusieurs instances de module de type "event-manager-writer" dans l'architecture Shinken.

  • Chaque instance devra avoir un nom unique.
Scroll Title
anchorparameter_cfg
title
NomTypeUnitéDéfautDescription
No Format
module_name 
Texte---event-manager-writer

Il est conseillé de choisir un nom en fonction de l'utilisation du module pour que la configuration soit simple à maintenir.

Doit être unique.

No Format
module_type 
Texte---event_containerNe dois pas être modifié.

Taille du bac d'événement en nombre de jours

Code Block
languagejs
themeConfluence
    # ┌─────────────────────────────────────────────────────────────────────────────────────────────────────┐ #
    # │ ──────────────────────────────────────    MODULE OPTIONS    ─────────────────────────────────────── │ #
    # └─────────────────────────────────────────────────────────────────────────────────────────────────────┘ #
 
    # ─── Number of day the events are kept in database                                                    ───
    # uri                                                 mongodb://localhost/?w=1&fsync=false
 
    # ─── Which database contains events data                                                               ───
    #                                                                                                       ───
    #          Default : event_container 30 ( days )                                                                        ───
    #                                                                                                       ───
    # databaseday_keep_data                                            event_container

Connexion par SSH au serveur Mongo

Par défaut, le module se connecte de manière directe à la base MongoDB pour y lire et écrire les données.

Dans la configuration du module, on sait que la connexion se fait de manière directe lorsque le paramètre "use_ssh_tunnel" est à 0.

  • Cette méthode de connexion a pour avantage d'être facile à configurer au niveau de Shinken.
  • Par contre, elle oblige à permettre l'accès à la base MongoDB au monde extérieur, et donc s'exposer à des problèmes de sécurité.

La sécurisation de la base MongoDB est bien sur toujours possible ( voir Sécurisation des connexions aux bases MongoDB ) mais bien plus complexe à mettre en place.

La méthode de connexion par SSH est donc préférable pour des raisons pratiques et de sécurité.

30

Le paramètre "day_keep_data" permet de choisir le nombre de jours qu'un événement sera gardé dans la base.

  • Si la base MongoDB prend trop de place sur le disque, cela peut être monitorer avec le modèle d'hôte : Modèle shinken-broker-module-event-manager-writer ( voir la page Modèle shinken-broker-module-event-manager-writer ).
  • Il est possible de diminuer le nombre de jours sauvegardés.


Scroll Title
anchorparameter_cfg
title
NomTypeUnitéDéfautDescription
No Format
day_keep_data
Entierjour30

Durée en nombre de jours d'un événement dans le bac à événement.

Accès à la base MongoDB

Cette configuration s'effectue dans le fichier de configuration du module.

Pour se connecter à la base MongoDB utilisé pour le stockage des données, 2 méthodes sont disponibles :

  • Connexion directe : Par défaut, mais non sécurisée.
  • Tunnel SSH : Shinken se connecte à la base MongoDB au travers d'un module SSH pour plus de sécurité
Configuration de l'URI de connexion et de l'authentification par mot de passe
Code Block
languagejs
themeConfluence
    # ┌─────────────────────────────────────────────────────────────────────────────────────────────────────┐ #
    # │ ────────────────────────────────────    DATABASE CONNECTION    ──────────────────────────────────── │ #
    # └─────────────────────────────────────────────────────────────────────────────────────────────────────┘ #

    # ─────────────────  MongoDB parameters  ──────────────────────────────────────────────────────────────── #

    # ─── MongoDB uri definition . You can find the mongodb uri syntax at              
Code Block
languagejs
    # ─── SSH tunnel activation to secure your mongodb connection                                           ───
    # ─── That will allow all mongodb to be encrypted & authenticated with SSH                     ───
    # ─── https://docs.mongodb.com/manual/reference/connection-string/   ───
    #                               ───
    #                                                                    ───
    #          ...     : Enable  => 1 ( enable ssh tunnel )       ───
    #           Default : mongodb://localhost/?w=1&fsync=false                         ───
    #           Default : Disable => 0 ( disable───
 ssh tunnel ) # ───                                              ───
    #                                                 ───
    # uri                                                 ───mongodb://localhost/?w=1&fsync=false

    # use_ssh_tunnel ─── Which database contains events data                                           0
 
    # ─── If the SSH connection goes wrong, then retry use_ssh_retry_failure time before_shinken_inactive   ───
    #                                                                                                       ───
    #           Default : event_container 1 ( try )                                                               ───
    # ───      ───
    #                                                                                         ───
    # database         ───
    # use_ssh_retry_failure                              event_container 1 
 
    # ─── SSHusername/password userto toauthenticate connect to the mongodb server.   MongoDB.                                                     ───
    # ─── Both parameters must be provided for authentication to function correctly.                        ───
    # ───                                                               ───
    #          Default : shinken                    ───
                                                        ───# broker__module_event_manager_writer__database__username

    #    ───                                                                                                   ───
    # broker__module_event_manager_writer__database__password
Scroll Title
anchorparameter_cfg
title
NomTypeUnitéDéfautDescription
No Format
 uri 
TexteURLmongodb://localhost/?safe=true

La description de la syntaxe de l'URI de MongoDB est disponible à l'adresse suivante https://docs.mongodb.com/manual/reference/connection-string/

No Format
 database 
Texte---shinken

Nom de la base de données où sont stockées les données événements.

No Format
broker__module_event_manager_writer__database__username 
Texte---

Utilisateur pour l'authentification avec mot de passe à la base MongoDB.

Utile uniquement si l'activation par mot de passe a été activé ( voir la page MongoDB - activation de l'authentification par mot de passe )

No Format
broker__module_event_manager_writer__database__password 
Texte---

Mot de passe de l'utilisateur utilisé pour l'authentification avec mot de passe à la base MongoDB.

Utile uniquement si l'activation par mot de passe a été activé ( voir la page MongoDB - activation de l'authentification par mot de passe )

Connexion directe au serveur MongoDB

Par défaut, le module se connecte de manière directe à la base MongoDB pour y lire et écrire les données.
Dans la configuration du module, ceci correspond au paramètre "use_ssh_tunnel" à 0.
C'est la méthode de connexion par défaut lorsque la base est sur la même machine que le démon ( quand l'URL de la base est localhost ).

Si la base est sur une autre machine, il faudra alors se connecter à la base via un tunnel SSH. Cela permet à la base distance de rester en écoute réseau sur l'interface réseau local, ce qui la sécurise des accès extérieurs ( voir la pageSécurisation des connexions aux bases MongoDB ).

Connexion par SSH au serveur MongoDB
Code Block
languagejs
themeConfluence
    # ─── SSH tunnel activation to secure your mongodb connectionssh_user                                            shinken
 
    # ─── SSH keyfile to connect to the mongodb server.                                                     ───
    #                                                                                                       ───
    #          Default : ~shinken/.ssh/id_rsa          ───
    # ─── That will allow all mongodb to be encrypted & authenticated with     SSH                                ───
    #                                                                                                       ───
    # ssh_keyfile         ...     : Enable  => 1 ( enable ssh tunnel   )                ~shinken/.ssh/id_rsa
 
    # ─── SSH Timeout used to test if the SSH tunnel is viable or not, in seconds.                          ───
    #          Default : Disable => 0 ( disable ssh tunnel )                                                ───
     #                               ───
    #          Default : 10 ( seconds )                                                     ───
    # use_ssh_tunnel           ───
    #                       0
 
    # ─── If the SSH connection goes wrong, then retry use_ssh_retry_failure time before_shinken_inactive   ───
    #                                                                                                       ───
    # ssh_tunnel_timeout          Default : 1 ( try )                                                10

Le module peut également se connecter par tunnel SSH à la base MongoDB, pour des raisons de sécurité.

En effet, le paramétrage de MongoDB permet de définir sur quelle interface réseau ce dernier écoute les requêtes.
En n'autorisant seulement interface réseau avec l'adresse 127.0.0.1, cela évite d'ouvrir la base au monde extérieur.

Dans la configuration de la base MongoDB (/etc/mongod.conf), assurez-vous que le paramètre "bind_ip" est positionné pour n'écouter que sur l'interface locale:

  • bind_ip=127.0.0.1

Dans cette configuration la base MongoDB écoute que sur l'interface réseau local, pour que le module se connecte, il faut passer par un tunnel SSH. Pour ce faire activer les options suivantes :

NomTypeUnitéDéfautCommentaire
Code Block
use_ssh_tunnel
Booléen0
  • 1 : Connection par tunnel SSH
  • 0 : Connection direct
Code Block
use_ssh_retry_failure
EntierNombre d'essais1

Spécifie le nombre supplémentaire de tentatives lors de l'établissement du tunnel SSH si ce dernier n'arrive pas à être établi

Code Block
ssh_user
Texteutilisateur unixshinkenL'utilisateur avec lequel le tunnel sera établi
Code Block
ssh_keyfile
Textechemin de fichier~shinken/.ssh/id_rsa La clé ssh privée présente sur le serveur Shinken qui sera utilisé pour établir le tunnel.
Code Block
ssh_tunnel_timeout
Entiersecondes 10Spécifie le timeout en secondes de la vérification du tunnel SSH avant que la connexion vers MongoDB soit effectuée

Le tunnel SSH va permettre au module de se connecter comme si ses requêtes étaient local à la base MongoDB ( en 127.0.0.1 )

  • Connectez-vous avec l'utilisateur lançant le démon sur le serveur Shinken
  • Générez la paire de clés SSH si nécessaire
  • Copiez la clé publique sur le serveur mongo
    Code Block
    languagebash
    titleCopie de la clé SSH
    root@serveur_shinken # su - shinken
    shinken@serveur_shinken $ ssh-keygen
    shinken@serveur_shinken $ ssh-copy-id user_distant@serveur_mongo 
    [...]
    shinken@serveur_shinken $ ssh user_distant@serveur_mongo
    user_distant@serveur_mongo $
  • Cette manipulation est aussi nécessaire dans le cas ou la base MongoDB est sur le même serveur que le module, même si le tunnel est ouvert localement.

  • Gestion de l'auto reconnexion avec un cluster MongoDB

                              ───
        #                                                                                                       ───
        # use_ssh_retry_failure                               1
     
        # ─── SSH user to connect to the mongodb server.                                                        ───
        #                                                                                                       ───
        #          Default : shinken                                                                            ───
        #                                                                                                       ───
        # ssh_user                                            shinken
     
        # ─── SSH keyfile to connect to the mongodb server.                                                     ───
        #                                                                                                       ───
        #          Default : ~shinken/.ssh/id_rsa                                                               ───
        #                                                                                                       ───
        # ssh_keyfile                                         ~shinken/.ssh/id_rsa
     
        # ─── SSH Timeout used to test if the SSH tunnel is viable or not, in seconds.                          ───
        #                                                                                                       ───
        #          Default : 10 ( seconds )                                                                     ───
        #                                                                                                       ───
        # ssh_tunnel_timeout                                  10
    Scroll Title
    anchorparameter_cfg
    title
    NomTypeUnitéDéfautDescription
    No Format
    use_ssh_tunnel
    Booléen---0
    • 1 : Connexion par tunnel SSH.
    • 0 : Connexion directe.
    No Format
    use_ssh_retry_failure
    EntierNombre d'essais1

    Spécifie le nombre supplémentaire de tentatives lors de l'établissement du tunnel SSH si ce dernier n'arrive pas à être établi.

    No Format
    ssh_user
    TexteUtilisateur unixshinkenL'utilisateur avec lequel le tunnel sera établi.
    No Format
    ssh_keyfile
    TexteChemin de fichier~shinken/.ssh/id_rsa La clé SSH privée présente sur le serveur Shinken qui sera utilisé pour établir le tunnel.
    No Format
    ssh_tunnel_timeout
    EntierSeconde10Spécifie le timeout en secondes de la vérification du tunnel SSH avant que la connexion vers MongoDB soit effectuée.
    Gestion de l'auto-reconnexion
    Code Block
    languagejs
    themeConfluence
    Code Block
    languagejs
        # ──────────────  AutoReconnect Management  ───────────────────────────────────────────────────────────────
     
        # ─── When MongoDB require you to reconnect ( For example, It can occur when a new PRIMARY is elected   ───
        # ─── in a MongoDB cluster ), it will raised the MongoDB AutoReconnect exception.                       ───
     
        # ─── How many try to reconnect before module go in error                                               ───
        #                                                                                                       ───
        #          Default : 4 ( try )                                                                          ───
        #                                                                                                       ───
        # auto_reconnect_max_try                              4
     
        # ─── Time between each try                                                                             ───
        #                                                                                                       ───
        #          Default : 3 ( seconds )                                                                      ───
        #                                                                                                       ───
        # auto_reconnect_sleep_between_try                    3
     
        # ─── NOTE: Change these values only if you have a MongoDB cluster and you change the                   ───
        # ───       heartbeatTimeoutSecs of your MongoDB replica set                                            ───
        # ───       The value of auto_reconnect_max_try * auto_reconnect_sleep_between_try must be higher than  ───
        # ───       heartbeatTimeoutSecs in the rs.conf(); of your MongoDB replica set.                         ───
    Info
    titleDéfinitions
    • Primaire: nom de Mongo MongoDB pour désigner un serveur maître, le serveur sur lequel il est possible de faire des requêtes d'écriture dans la base. 
    • Election : processus de Mongo MongoDB pour choisir un nouveau membre Primaire si le membre Primaire devient inaccessible 

    Voir : ( voir la page Haute disponibilité de la base MongoMongoDB (mise en place d'un cluster) )


    Dans le cas de l'utilisation d'un cluster MongoDB, lorsque le membre Primaire devient inaccessible, une nouvelle élection est déclenché déclenchée, ce qui provoque une coupure temporaire de l'accès à la base.

    Dans le but de ne pas interrompre le service, le module SLA "event-manager-reader" va se reconnecter automatiquement au cluster MongoDB.
    Pour ce faire, il va faire un nombre d'essais égaux au paramètre "auto_reconnect_max_try " avec une pause de X secondes entre chaque essai ( correspondant au paramètre "auto_reconnect_sleep_between_try" ).

    Par défaut pour MongoDB le temps maximum avant qu'un membre Primaire soit considéré comme indisponible et qu'une nouvelle élection ait lieu est de 10 secondes.
    Voir : "heartbeatTimeoutSecs" donné par la commande rs.conf(); dans un shell de mongo.MongoDB.


    Scroll Title
    anchorparameter_cfg
    title
    NomTypeUnitéDéfaut
    Commentaire
    Description
    code
    No Format
    auto_reconnect_max_try
    EntierNombre d'essais4Nombre d'essais de reconnexion à la base.
    code
    No Format
    auto_reconnect_sleep_between_try
    Entier
    secondes
    Seconde3

    Temps entre chaque essai

    en seconde

    .


    Les valeurs par défauts du fichier laisse 12 secondes, ce qui est amplement suffisant avec la configuration par défaut de MongoDB.


    Warning

    Il est conseillé de ne pas modifier ces valeurs.

    Utilisation des workers du module event-manager-writer

    Code Block
    languagejs
    themeConfluence
        # ┌─────────────────────────────────────────────────────────────────────────────────────────────────────┐ #
        # │ ───────────────────────────────────    WORKERS IN THE BROKER    ─────────────────────────────────── │ #
        # └─────────────────────────────────────────────────────────────────────────────────────────────────────┘ #
     
        # ─── This module will use workers in the broker, each worker will manage a shard of all hosts/checks.  ───
        # ─── This parameter is used by the broker to set the number of workers.                                ───
        # ─── Each worker will use one CPU, which will balance the event processing load among CPUs.            ───
        #                                                                                                       ───
        #          Default : 1 ( worker )                                                                       ───
        #                                                                                                       ───
        # broker_module_nb_workers                            1

    Le paramètre "broker_module_nb_workers" va déterminer combien de fois le module va se cloner pour gérer le flux de donnée à enregistrer afin de repartir cette charge sur plusieurs CPU.

    Il est possible de changer ce paramètre si l’utilisation CPU du processus : "NOM DU BROKER [ - Module: event-manager-writer ][ Worker: 0 ]" est trop éleverélevé.

    Scroll Title
    anchorparameter_cfg
    title
    NomTypeUnitéDéfaut
    Commentaire
    Description
    code
    No Format
    broker_module_nb_workers
    Entier
    X workers
    worker1

    Nombre de workers qui

    traite

    traitent le flux de donnée pour sauvegarder les événements dans la base MongoDB

    .

    ( le

    traitements

    traitement est

    répartis

    réparti sur les workers ).

    Info

    Ne pas dépassédépasser le nombre de core cpu de la machine : cela serais serait contre-productif pour les performances.

    Options internes

    Code Blocknoformat
        # ┌─────────────────────────────────────────────────────────────────────────────────────────────────────┐ #
        # │ ─────────────────────────────────────    INTERNAL OPTIONS    ────────────────────────────────────── │ #
        # └─────────────────────────────────────────────────────────────────────────────────────────────────────┘ #
     
        # ─── INTERNAL : DO NOT EDIT FOLLOWING PARAMETER WITHOUT YOUR DEDICATED SUPPORT                         ───
     
        # ─── Broker idle time before considering that Shinken is inactive.                                     ───
        # ─── Use this if you have Broker loop time that exceeds 30 seconds                                     ───
        #                                                                                                       ───
        #          Default : 30 ( seconds )                                                                     ───
        #                                                                                                       ───
        # time_before_shinken_inactive                        30
    Warning

    Ces paramètres sont dédiés au fonctionnement interne au module, il est fortement recommandé de ne pas les modifier sans votre le support dédié. 

    Scroll Title
    anchorparameter_cfg
    title
    NomTypeUnitéDéfaut
    Commentaire
    Description
    code
    No Format
     time_before_shinken_inactive 
    Entier
    Secondes
    Seconde30

    Temps d'inactivité du Broker avant de considérer que Shinken est inactif.

    Utilisez cette option si

    vous avez un

    le temps de boucle du Broker

    qui

    dépasse 30 secondes.