Page History

Les fichiers de log du Synchronizer sont situés dans le dossier /var/log/shinken/ . Pour plus d'informations, consultez la page  ( voir la page Fichiers Logs ).

Démarrage

Lors du démarrage du démon, une ligne est disponible:

Au démarrage et tous les jours à minuit, ce log indique la version ainsi que le numéro de patch cumulatif du démon.

[2020YYYY-05MM-18DD 05HH:19MM:18SS] INFO   : [daemon synchronizer-name ] [START-DAEMON] The daemon (version=02.08.01Daemon version is: XX.XX.XX-release.fr culmulative-patch-YY

Lors du démarrage du démon, une ligne est disponible:

[YYYY-MM-DD HH:MM:SS] INFO   : [ synchronizer-name ] [START-DAEMON] The daemon (version=02.08.01-release.fr) is now started as a daemon (detached from any ) is now started as a daemon (detached from any shell) with pid=15412 
[2020YYYY-05MM-18DD 05HH:19MM:18SS] INFO   : [daemon synchronizer-mastername ] [ SYSTEM           ] System resource number of open files is set to      (soft:1024       / hard:1024      ) (from parameter max_file_descriptor_limit) 
[2020YYYY-05MM-18DD 05HH:19MM:18SS] INFO   : [daemon synchronizer-mastername ] [ SYSTEM           ] System resource number of processes/threads is set to (soft:unlimited  / hard:unlimited ) (set at system max values)

Avec comme informations principales:

• Sa version
• Son numéro de PID
• Ses limites systèmes en nombre de fichiers/socket ouvrables, et le nombre max de processus/threads

Messages d'erreurs possibles

Erreur d'encodage dans les fichiers des modules

Ce log d'erreur indique qu'un fichier des modules de Shinken situé dans /etc/shinken n'est pas encodé en utf-8, il est suivi d'un log d’avertissement (warning) indiquant le fichier en question dans l'exemple suivant, c'est le fichier /etc/shinken/modules/webui.cfg qui ne respecte pas le bon encodage.

[2020-01-24 09:17:20] WARNING: [synchronizer-master] [config] Some characters could not be read in utf-8 in the file : /etc/shinken-user/source-data/ma-source/items/elements.cfg

Pour résoudre ce problème, il suffit de réencoder le fichier au format UTF-8.

Erreur à cause de caractères interdits dans le nom d'un royaume

Initialisation de la connexion à Mongo

Au démarrage du Synchronizer, celui-ci va se connecter à la base Mongo. Des logs d'initialisation sont disponibles pour résumer les paramètres utilisés pour la connexion

[YYYY-MM-DD HH:MM:SS] INFO   : [ synchronizer-name ] [ INITIALISATION ] [ MONGO ] Creating connection to database [synchronizer], requested by [ Synchronizer ]
[YYYY-MM-DD HH:MM:SS] INFO   : [ synchronizer-name ] [ INITIALISATION ] [ MONGO ] MongoDB parameters
[YYYY-MM-DD HH:MM:SS] INFO   : [ synchronizer-name ] [ INITIALISATION ] [ MONGO ]    - synchronizer__database__name ————————————————————————————————————————————————— :〖 synchronizer 〗

Lorsque le nom d'un royaume contient un ( ou plusieurs ) caractère( s ) interdits, deux logs nous annoncent quels sont ces caractères ( ", ', < et > ), le nom du royaume en erreur ainsi que le fichier et la ligne dont il vient.

[YYYY-MM-DD HH:MM:SS] ERROR  : [ synchronizer-master ] Forbidden characters ", ', < or > found in the name of realm "<France>" for "/etc/shinken/realms/france.cfg:7
[YYYY-MM-DD HH:MM:SS] ERRORINFO   : [ synchronizer-mastername ] [ INITIALISATION Items] in[ <France>MONGO is incorrect

Dans l'exemple, le royaume présent dans le fichier /etc/shinken/realms/france.cfg possède le nom <france> qui contient des caractères interdits. ( < et > ).

Erreur de connexion à la base mongo

Erreur lors que l'Arbiter demande la configuration au Synchronizer mais que le Synchronizer n'est pas encore prêt 

Surcharge serveur en activité disque, ralentissant l'écriture des logs

Erreur de paramétrage sur sur les élements ( hôte, utilisateur )

Sur les hôtes

Erreur sur le paramètre host__detect_unique_address__behaviour ( adresses dupliqués )

La valeur de host__detect_unique_address__behaviour est erroné

Ré-initialisation de la connexion à Mongo

Dans certains cas, par exemple quand on duplique un processus, il faut recréer la connexion à Mongo afin d'éviter d'avoir deux connexions identiques sur deux processus différents. Ce log apparaît :

[YYYY-MM-DD HH:MM:SS] INFO   : [ synchronizer-name ] [ INITIALISATION ] [ MONGO ] Resetting connection to database [synchronizer], requested by [ Synchronizer ]
[YYYY-MM-DD HH:MM:SS] INFO   : [ synchronizer-name ] [ INITIALISATION ] [ MONGO ] Try to open a Mongodb connection to mongodb://localhost/?safe=false:synchronizer
[YYYY-MM-DD HH:MM:SS] INFO   : [ synchronizer-name ] [ INITIALISATION ] [ MONGO ] Mongo connection established in 4.09ms

Mise en production

Ce chapitre décrit les logs affichés par le Synchronizer lorsqu'un administrateur Shinken accède à la page de mise en production sur l'interface de configuration ( voir la page Page de mise en production ).

État de l'Arbiter Master lors d'une action sur la page de mise en production

Ces logs s'affichent lorsqu'on arrive sur la page Production ou qu'une action est effectuée sur cette page ( Vérification de la configuration, Application de la configuration… )

L'Arbiter est disponible

L'Arbiter n'est pas disponible

Vérification de la configuration

Demande de vérification

Ce log s'affiche quand un administrateur Shinken demande une vérification d'une configuration à mettre en production.

[YYYY-MM-DD HH:MM:SS] INFO   : [ synchronizer-name ] [ APPLY NEW CONFIGURATION ] User >USER_NAME< (id:USER_UUID) is asking to check a new configuration (check_id:CHECK_ID)

• USER_NAME : Nom de l'utilisateur ayant demandé une vérification d'une configuration.
• USER_UUID : Identifiant unique de l'utilisateur ayant demandé une vérification d'une configuration.
• CHECK_ID : Identifiant unique de la configuration à vérifier, créé par le Synchronizer.

Début de la vérification

Ce log s'affiche quand l'Arbiter commence la vérification d'une configuration à mettre en production envoyé précédemment.

[YYYY-MM-DD HH:MM:SS] INFO   : [ synchronizer-name ] [ APPLY NEW CONFIGURATION ] Arbiter master start to check a new configuration (check_id:CHECK_ID)

• CHECK_ID : identifiant unique de la configuration à vérifier, créé par le Synchronizer.

Fin de la vérification

Ce log s'affiche quand l'Arbiter a terminé la vérification d'une configuration à mettre en production envoyé précédemment.

[YYYY-MM-DD HH:MM:SS] INFO   : [ synchronizer-name ] [ APPLY NEW CONFIGURATION ] Arbiter master check done (check_id:CHECK_ID)

• CHECK_ID : identifiant unique de la configuration à vérifier, créé par le Synchronizer.

Application de la configuration en production

Demande de mise en production

Ce log s'affiche quand un administrateur Shinken demande une mise en production.

[YYYY-MM-DD HH:MM:SS] INFO   : [ synchronizer-name ] [ APPLY NEW CONFIGURATION ] User >USER_NAME< (id:USER_UUID) is asking to apply a new configuration (reload_id:RELOAD_ID)

• USER_NAME : Nom de l'utilisateur ayant demandé une mise en production.
• USER_UUID : Identifiant unique de l'utilisateur ayant demandé une mise en production.
• RELOAD_ID : Identifiant unique de la configuration à appliquer, créé par le Synchronizer.

Début de la mise en production

Ce log s'affiche quand l'Arbiter commence la mise en production.

[YYYY-MM-DD HH:MM:SS] INFO   : [ synchronizer-name ] [ APPLY NEW CONFIGURATION ] Arbiter master start to apply a new configuration (reload_id:RELOAD_ID)

• RELOAD_ID : identifiant unique de la configuration à appliquer, créé par le Synchronizer.

Fin de la mise en production

Ce log s'affiche quand l'Arbiter a terminé la mise en production.

[YYYY-MM-DD HH:MM:SS] INFO   : [ synchronizer-name ] [ APPLY NEW CONFIGURATION ] Arbiter master apply done (reload_id:RELOAD_ID)

• RELOAD_ID : identifiant unique de la configuration à appliquer, créé par le Synchronizer.

L'Arbiter est indisponible lors de la mise en production

Ce log s'affiche quand l'Arbiter n'est pas disponible pour être redémarré lors de la mise en production

[YYYY-MM-DD HH:MM:SS] INFO   : [ synchronizer-name ] [ APPLY NEW CONFIGURATION ] Cannot apply new configuration because Arbiter master >arbiter-master< is not reachable (Is reloading).

[YYYY-MM-DD HH:MM:SS] INFO   : [ synchronizer-name ] [ APPLY NEW CONFIGURATION ] Cannot apply new configuration because Arbiter master >arbiter-master< is not reachable (Is not reloading).

Messages d'erreurs possibles

Erreur d'encodage dans les fichiers des modules

Ce log d'erreur indique qu'un fichier des modules de Shinken situé dans  /etc/shinken  n'est pas encodé en utf-8, il est suivi d'un log d’avertissement ( warning ) indiquant le fichier en question dans l'exemple suivant, c'est le fichier /etc/shinken/modules/webui.cfg qui ne respecte pas le bon encodage.

[YYYY-MM-DD HH:MM:SS] WARNING: [ synchronizer-name ] [config] Some characters could not be read in utf-8 in the file : /etc/shinken-user/source-data/ma-source/items/elements.cfg

Pour résoudre ce problème, il suffit de réencoder le fichier au format UTF-8.

Erreur de configuration des sources

Il ne peut y avoir qu'une seule source de type "syncui-import". Une source nommée "syncui" étant déjà définie en interne, ajouter une source de type "syncui-import" appelée autrement que "syncui" ( pour surcharger la source syncui ) va empêcher le synchronizer de démarrer et remontera le log suivant :

[YYYY-MM-DD HH:MM:

host__detect_unique_address__behaviour est défini plusieurs fois

Si le paramètre host__detect_unique_address__behaviour définit dans plusieurs fichiers, une erreur est remontée pour nous indiquer les fichiers dans lesquels il est défini :

[YYYY-MM-JJ HH:MM:SS] ERROR : [ synchronizer-master ] Multiple definition detected for parameter [ host__detect_unique_address__behaviour ] in the following files : 
[YYYY-MM-JJ HH:MM:SS] ERROR : [ synchronizer-master ] FILE_PATH_1 
[YYYY-MM-JJ HH:MM:SS] ERROR : [ synchronizer-mastername ] FILE_PATH_2 
[YYYY-MM-JJ HH:MM:SS] ERROR : [ synchronizer-master ] FILE_PATH_3

• FILE_PATH_X : Fichier dans lequel la propriété host__detect_unique_address__behaviour a été trouvée.

host__detect_unique_address__behaviour est défini plusieurs fois et la valeur est erronée

[ CONFIGURATION     ] You can have only one source of type "syncui-import" and it must be named "syncui". All the following files defines source of type "syncui-import" ([/etc/shinken/sources/first-syncui.cfg], [/etc/shinken/sources/second-syncui.cfg]).

Il ne peut y avoir qu'une seule source de type "discovery-import". Une source nommée "discovery" étant déjà définie en interne, ajouter une source de type "discovery-import" appelée autrement que "discovery" ( pour surcharger la source discovery ), déclaré dans les sources du synchronizer, va empêcher le synchronizer de démarrer et remontera le log suivant :

Lorsque le paramètre host__detect_unique_address__behaviour est défini plusieurs fois et que le dernier paramètre vérifié n'est pas correct, une erreur remonte pour indiquer que le paramètre n'est pas bon et dans quels fichiers il est défini :

[YYYY-MM-JJDD HH:MM:SS] ERROR : [ synchronizer-mastername ] The[ parameterCONFIGURATION [ host__detect_unique_address__behaviour ] has an] incorrectYou value "ERRORED_VALUE". Correct values are : duplicated_accepted, warning_displayed, error_displayed, save_forbidden. 
[YYYY-MM-JJ HH:MM:SS] ERROR : [ synchronizer-master ] Multiple definition detected for parameter [ host__detect_unique_address__behaviour ] in the following files :
[YYYY-MM-JJcan have only one source of type "discovery-import" and it must be named "discovery"

Si dans son fichier de configuration une source n'a pas de paramètre "module_type", le Synchronizer ne démarre pas et ce log est affiché.

[YYYY-MM-DD HH:MM:SS] ERROR  : [ synchronizer-mastername ] FILE_PATH_1 
[YYYY-MM-JJ HH:MM:SS] ERROR : [ synchronizer-master ] FILE_PATH_2 
[YYYY-MM-JJ HH:MM:SS] ERROR : [ synchronizer-master ] FILE_PATH_3

• ERRORED_VALUE : La valeur erronée saisie dans dernier fichier pris en compte.
• FILE_PATH_X : Fichier dans lequel la propriété host__detect_unique_address__behaviour a été trouvée.

Logs de chargement des modules

Les démons ont une phase de chargement des modules qui est décrite dans la page HIDDEN - Logs de gestion des modules - chapitre [ MODULES-MANAGER ]

Activité des sources

Initialisation des sources

Au démarrage du démon Synchronizer, les sources définies dans son fichier cfg "synchronizer.cfg" sont initialisées.

Erreur à cause de caractères interdits dans le nom d'un royaume

Lorsque le nom d'un royaume contient un ( ou plusieurs ) caractère( s ) interdits, deux logs annoncent quels sont ces caractères ( ", ', < et > ), le nom du royaume en erreur ainsi que le fichier et la ligne dont il vient.

[YYYY-MM-DD HH:MM:SS] ERROR  : [ synchronizer-name ] Forbidden characters ", ', < or > found in the name of realm "<France>" for "/etc/shinken/realms/france.cfg:7
[YYYY-MM-DD HH:MM:SS] ERROR  : [ synchronizer-name ] Items in <France> is incorrect

Dans l'exemple, le royaume présent dans le fichier /etc/shinken/realms/france.cfg possède le nom <france> qui contient des caractères interdits. ( < et > ).

Erreur de connexion à la base MongoDB

Erreur lors de l'initialisation

Le Synchronizer a besoin de la connexion à MongoDB pour pouvoir démarrer. Si la connexion ne peut être établie, le log suivant sera présent dans le fichier /tmp/bad_start_for_synchronizer_instance_0 :

[YYYY-MM-DD HH:MM:SS] INFO : [ synchronizer-name ] [ MONGO ] Mongo raised ( Mongo connection failure to mongodb://192.168.1.202/?safe=false ) on the operation get_connection. Operation failed : 1/5
[YYYY-MM-DD HH:MM:SS] INFO : [ synchronizer-name ] [ MONGO ] Mongo raised ( Mongo connection failure to mongodb://192.168.1.202/?safe=false ) on the operation get_connection. Operation failed : 2/5
[YYYY-MM-DD HH:MM:SS] INFO : [ synchronizer-name ] [ MONGO ] Mongo raised ( Mongo connection failure to mongodb://192.168.1.202/?safe=false ) on the operation get_connection. Operation failed : 3/5
[YYYY-MM-DD HH:MM:SS] INFO : [ synchronizer-name ] [ MONGO ] Mongo raised ( Mongo connection failure to mongodb://192.168.1.202/?safe=false ) on the operation get_connection. Operation failed : 4/5
[YYYY-MM-DD HH:MM:SS] ERROR :[ synchronizer-name ] [ MONGO ] Mongo raised ( Mongo connection failure to mongodb://192.168.1.202/?safe=false ) on the operation get_connection. Operation failed : 5/5. We tried 5 times but it kept failing.
[YYYY-MM-DD HH:MM:SS] ERROR :[ synchronizer-name ] The daemon must have access to mongoDb to start but it's unreachable, bail out
[YYYY-MM-DD HH:MM:SS] INFO : [ synchronizer-name ] Stopping synchronizer daemon

Erreur lors d'une requête vers mongo

Lorsqu'on essaye de lancer une requête vers mongo, il peut arriver que ces requêtes échouent. On log alors ces erreurs en INFO jusqu'à atteindre le nombre d'essai maximum déterminé dans la configuration. Après ça, le log passe en ERROR et le Synchronizer s'éteint.

[YYYY-MM-DD HH:MM:SS] INFO   : [ synchronizer-name ] [ MONGO ] Mongo raised ( [Errno 111] Connection refused ) on the operation remove on last_synchronizations. Operation failed : 1/5
[YYYY-MM-DD HH:MM:SS

Récapitulatif de la configuration des sources utilisé pour le prochain merge des sources

Erreur lors que l'Arbiter demande la configuration au Synchronizer mais que le Synchronizer n'est pas encore prêt 

Lors des tentatives:

[YYYY-MM-DD HH:MM:SS] WARNING: [ synchronizer-name ] [ ARBITER GET CONFIGURATION ] Arbiter asks me for the configuration but the Synchronizer is not ready for the moment after 55 attempts. Max attempts before Arbiter give up: 90

Si toutes les tentatives ont échoué:

[YYYY-MM-DD HH:MM:SS] ERROR: [ synchronizer-name ] [ ARBITER GET CONFIGURATION ] Arbiter asks me for the configuration but the Synchronizer is not ready, Arbiter will stop to ask us a configuration. You will need to restart manually your Arbiter when Synchronizer is ready. (attempt 60)

Erreur durant la vérification de la configuration lorsque l'ID de la vérification n'est pas trouvé

Erreur durant le redémarrage de l'Arbiter lorsque l'ID du redémarrage n'est pas trouvé

Surcharge serveur en activité disque, ralentissant l'écriture des logs

Si le serveur hébergeant le démon est surchargé en termes d'IO disques sur le volume qui héberge le fichier de log, alors ce dernier va mettre du temps à s'écrire et va ralentir tout le démon. Il faut alors si c'est faisable isoler le volume des disques sur un disque moins chargé pour ne pas ralentir le démon.

En cas de soucis, les logs suivants seront présents :

[YYYY-MM-DD HH:MM:SS] WARNING : [ LOGGER ]
[YYYY-MM-DD HH:MM:SS] WARNING : [ LOGGER ] ----------------------+-----------------------------------------------+-------------------------------+
[2020YYYY-11MM-09DD 11HH:53MM:22SS] INFOWARNING   : [ synchronizer-dev1LOGGER ] [ SOURCEWRITING ] The log writes time is very high (1.87s). Please ]look [at MERGEyour log                 ] | syncui              | all        | authorized          | authorized                 | disabled                              | source_space                  |
[2020-11-09 11:53:22] INFO   : [ synchronizer-dev1 ] [ SOURCE           ] [ MERGE                  ] +---------------------+disk performance.
[YYYY-MM-DD HH:MM:SS] WARNING : [ LOGGER ] --------------------------------------------------------------------------------------+---------------------+----------------------------+---------------------------------------+-------------------------------+
[2020-11-09 11:53:22] INFO   : [ synchronizer-dev1 ] [ SOURCE           ] [ MERGE                  ] | listener-shinken    | all        | authorized          | authorized                 | disabled                              | source_space                  |
[2020-11-09 11:53:22] INFO   : [ synchronizer-dev1 ] [ SOURCE           ] [ MERGE                  ] +---------------------+------------+---------------------+----------------------------+---------------------------------------+-------------------------------+
[2020-11-09 11:53:22] INFO   : [ synchronizer-dev1 ] [ SOURCE           ] [ MERGE                  ] | server-analyzer     | all        | authorized          | authorized                 | disabled                              | source_space                  |
[2020-11-09 11:53:22] INFO   : [ synchronizer-dev1 ] [ SOURCE           ] [ MERGE                  ] +---------------------+------------+---------------------+----------------------------+---------------------------------------+-------------------------------+

Quand commence la comparaison entre les éléments importé et ceux qui existe dans staging et la zone de travaille (working area)

Quand commence la recherche des éléments a supprimer si une source a l'option delete_if_missing_in_this_source ou delete_if_missing_in_all_sources

Logs de chargement des modules

Les démons ont une phase de chargement des modules( voir la page GLOBAL - Les logs de gestion des modules - chapitre [ MODULES-MANAGER ] ).

Activité des sources

Initialisation des sources

Au démarrage du démon Synchronizer, les sources définies dans son fichier cfg "synchronizer.cfg" sont initialisées.

Début du calcul des nouveaux éléments et ceux en différences

Lorsqu'une source n'arrive pas mettre en staging/production

Une source créé une période de maintenance (DOWNTIME) sur un élément qui est supprimé

Quand une source est configurée pour envoyer une période de maintenance quand un hôte est supprimé, on aura dans les logs du démon Synchronizer:

[2020-08-31 11:23:42] INFO : [synchronizer-master] [synchronizer-collector-vmware] [CallbackDowntime ] [DOWNTIME] Creating a downtime on host VMAccent-6790-ééé-ter, by author admin, ending in 1400s to receiver api 127.0.0.1:7760.