View Source

Import des modules depuis /var/lib/shinken/modules - chapitre [ CODE-LOADING ]

Chaque démon (ou module qui possèdes d'autres modules) va démarrer son gestionnaire de module "modules-manager" qui va charger chaque module présent dans /var/lib/shinken/modules. Pour qu'un module soit chargé, il faut qu'il soit présent dans un répertoire.

Chargement du code du module

Le "modules manager" va regarder si le fichier "module_info.json" placé dans le répertoire du module existe. S'il n'existe pas un log en WARNING sera affiché.

[YYYY-MM-DD HH:MM:SS] WARNING : [ daemon_or_module_name  ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=directory_name ] Missing 'module_info.json' file at the path /var/lib/shinken/modules/my_module_directory/module_info.json. The code of the module gonna be charged.

Après que le "modules manager" ait regardé si le fichier "module_info.json" existe, il va regarder si la clé "daemons" est bien présente dans le fichier. Si elle n'existe pas un log en WARNING sera affiché.

[YYYY-MM-DD HH:MM:SS] WARNING : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=directory_name ] Missing 'daemons' key in the 'module_info.json' file at the path /var/lib/shinken/modules/my_module_directory/module_info.json. The code of the module gonna be charged.

Si le "modules manager" n'a pas réussit à lire le fichier à cause d'un problème de formatage, un log en WARNING sera affiché.

[YYYY-MM-DD HH:MM:SS] WARNING : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=directory_name ] The 'module_info.json' file at the path /var/lib/shinken/modules/my_module_directory/module_info.json is malformed. The code of the module gonna be charged.

Si le "modules manager" n'a pas réussit à lire le fichier à cause d'un problème de permissions, un log en WARNING sera affiché.

[YYYY-MM-DD HH:MM:SS] WARNING : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=directory_name ] Permission denied to read file 'module_info.json' file at the path /var/lib/shinken/modules/my_module_directory/module_info.json. The code of the module gonna be charged.

Le "modules manager" annonce qu'il va commencer à charger le code de son module. Un log en INFO apparaîtra.

[YYYY-MM-DD HH:MM:SS] INFO : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=directory_name  ] Starting to load the module code directory /var/lib/shinken/modules/my_module_directory.

Si le "modules manager" trouve une exception Python durant le procédé d'import du module, un log en ERROR avec l’exception sera affiché et le module ne sera pas importé.

[YYYY-MM-DD HH:MM:SS] ERROR : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=directory_name ] Import module module_name] failed: EXCEPTION.

À la fin la fin de l'import du code le "modules manager" affiche un résumé de l'import dans un log en INFO.

[YYYY-MM-DD HH:MM:SS] INFO : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CODE-LOADING ] A total of 9 Shinken Enterprise modules are available for this daemon/module (daemon_or_module_name): MODULES_LIST_NAME (on a total of 40, loaded in 1.844s)

Chargement du module en tant que module Python

Lors du chargement du code, le "modules-manager" va vérifier si un module peut être importé en tant qu'un package Python. Un log en INFO apparaîtra.

[YYYY-MM-DD HH:MM:SS] INFO : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=directory_name ] Try to import a module code in /var/lib/shinken/modules/architecture-export as python module.

En cas d'échec un log en INFO sera affiché.

[YYYY-MM-DD HH:MM:SS] INFO : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=module_name ] Failed to import the directory /var/lib/shinken/modules/module_name as a python module.

Si cet échec est dû à un problème d'import de fichier en Python, le module ne sera pas chargé et 3 logs en ERROR seront affichés :

Le premier log indique que l'import a échoué et que le module ne sera pas chargé.

[YYYY-MM-DD HH:MM:SS] ERROR : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=directory_name] Failed to import the directory /var/lib/shinken/modules/directory_name as a python module. The module won't be loaded.

Le second log indique que le fichier '__init__.py' dans le dossier du module est manquant ( sans ce fichier, il n'est pas possible d'importer le module en tant que module Python ).

[YYYY-MM-DD HH:MM:SS] ERROR : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=directory_name]  - because of missing file : /var/lib/shinken/modules/module_name/__init__.py.

Le troisième log précise quel fichier n'a pas réussi à être importé dans le code du module. Dans notre exemple, c'est le fichier module_name.my_file qui n'a pas été importé.

[YYYY-MM-DD HH:MM:SS] ERROR : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=directory_name] - The line 'import module_name.my_file' The module won't work in your module.py file.

Si le "modules manager" a réussi à importer, le module en tant que Python module alors un log en INFO apparaîtra.

[YYYY-MM-DD HH:MM:SS] INFO : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=directory_name ] Success to import the directory /var/lib/shinken/modules/architecture-export/ as a python module.

Vérification des propriétés du module

Une fois que le "modules-manager" a chargé un module en tant que package Python, il va vérifier si le dictionnaire "properties" est existant dans le module.

Dans le cas contraire, le module ne sera pas importé et le log en ERROR suivant sera affiché :

[YYYY-MM-DD HH:MM:SS] ERROR : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=name_directory ] Missing properties dict in your module file /var/lib/shinken/modules/module_name/module.py. The module won't be loaded.

Création du module - chapitre [ CREATION ]

Une fois, le code python chargé, on demande au "modules-manager" de créer les modules, de les démarrer et de démarrer son ou ces Worker(s).

Création de l'instance du module

Le "modules-manager" va essayer de créer le module :

Si le code du module ne contient pas la fonction "get_instance()" ou qu'elle ne retourne rien, un log en ERROR sera affiché.

[YYYY-MM-DD HH:MM:SS] ERROR : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CREATION ] [ module_name] [ module-type=module_type ] The module get_instance() call did not return any instance or does not exist.

Si le "get_instance()" du module rencontre une erreur, le log en ERROR sera affiché avec l'exception Python concernée:

[YYYY-MM-DD HH:MM:SS] ERROR : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CREATION ] [ module_name ] [ module-type=module_type ]  [0.046s] The module creation did fail with an exception: EXCEPTION. Will try to recreate it in the future.

Si le module a bien été créé alors un log en INFO sera affiché son temps de création.

[YYYY-MM-DD HH:MM:SS] INFO : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CREATION ] [ module_name ] [ module-type=module_type ]  [0.046s] The module is created.

Démarrage du module

Une fois le module créé, le "modules-manager" va essayer de le démarrer.

Ce log sera en INFO.

[YYYY-MM-DD HH:MM:SS] INFO : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CREATION ] [ module_name ] [ module-type=module_type ]  Trying to init module.

Si le "modules-manager" a réussi à créer son module, mais n'a pas réussi à le démarrer alors 3 logs apparaîtront :

Un log en ERROR avec l'exception Python rencontré:

[YYYY-MM-DD HH:MM:SS] ERROR : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CREATION ] [ module_name ] [ module-type=module_type ]  The module failed to init and he raised an exception: EXCEPTION.

Un log en WARNING indiquant le nombre de fois que le "modules-manager" à essayer de démarrer son module sans succès. Le compteur se remet à zéro dès lors que le démon a réussi à démarrer son module.
[YYYY-MM-DD HH:MM:SS] WARNING : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CREATION ] [ module_name ] [ module-type=module_type ] The module tried to start: 5 times.

Un log en WARNING indiquant quand le "modules-manager" va essayer de redémarrer son module ( maximum une minute ).

[YYYY-MM-DD HH:MM:SS] WARNING : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CREATION ] [ module_name ] [ module-type=module_type ]  The module will try to restart at 16:32:18.

Un log en INFO apparaîtra si le "modules-manager a réussi à démarrer son module.

[YYYY-MM-DD HH:MM:SS] INFO : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CREATION ] [ module_name ] [ module-type=module_type ] The module is started.

Démarrage du/des Worker(s) du module

Une fois le module démarré, s'il utilise des Workers, le "modules-manager" va essayer de les démarrer.

S'il n'arrive pas à les démarrer, le module redémarrera dans le futur (max 1 minute) afin de redémarrer les Workers.
Ce log sera en INFO.

[YYYY-MM-DD HH:MM:SS] INFO : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CREATION ] [ module_name ] [ module-type=module_type ]  Starting a worker(s).

Si le "modules-manager" n'a pas réussi à démarrer ses Workers du module:

Et qu'il a levé une exception lors du démarrage alors un log en ERROR sera affiché disant que le "modules-manager" n'a pas réussi à démarrer les Workers du module avec le message de l'exception. Le module redémarrera dans le futur ( max 1 minute ).

[YYYY-MM-DD HH:MM:SS] ERROR : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CREATION ] [ module_name ] [ module-type=module_type ]  The worker(s) failed to init and raised an exception: EXCEPTION. The module will be restarted in the future.

Un log en ERROR sera affiché disant que le "modules-manager" n'a pas réussi à démarrer les Workers du module et que le module redémarrera dans le futur ( max 1 minute ).

[YYYY-MM-DD HH:MM:SS] ERROR : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CREATION ] [ module_name ] [ module-type=module_type ]  The worker(s) failed to init. The module will be restarted in the future.

Si les Workers du module se sont bien démarrés alors ce log en INFO apparaîtra.

[YYYY-MM-DD HH:MM:SS] INFO : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CREATION ] [ module_name ] [ module-type=module_type ]  The worker(s) started.

Changement de configuration ou d'état du module - chapitre [ UPDATE ]

Rajout d'un nouveau module dans un démon

Lorsqu'un démon reçoit un nouveau module, le "modules manager" affiche un résumé avec un log en INFO des modules qui ont été ajoutés à la configuration du démon.

[YYYY-MM-DD HH:MM:SS] INFO : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ UPDATE ] Modules did changed:
[YYYY-MM-DD HH:MM:SS] INFO : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ UPDATE ] - WebUI -> started (new)
[YYYY-MM-DD HH:MM:SS] INFO : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ UPDATE ] - sla -> started (new)

Après le résumé le "modules manager" affiche un log en INFO par module disant que le nouveau module a bien été chargé.

[YYYY-MM-DD HH:MM:SS] INFO : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ UPDATE ] [ WebUI ] Launching a new module as it was added in the daemon configuration.

Suppression d'un module dans un démon

Lorsqu'un utilisateur enlève un module de la configuration du démon, le "modules manager" affiche un résumé avec un log en INFO des modules qui ont été supprimés de la configuration du démon.

[YYYY-MM-DD HH:MM:SS] INFO : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ UPDATE ] Modules did changed:
[YYYY-MM-DD HH:MM:SS] INFO : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ UPDATE ] - Livestatus -> stopped (removed)

Après le résumé le "modules manager" affiche un log en INFO informant que l'on supprime le module, car il n'est plus dans la configuration du démon.

[YYYY-MM-DD HH:MM:SS] INFO : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ UPDATE ] [ WebUI ] Removing the module because it is removed from the configuration.

Si le "modules manager" a essayé de supprimer un module, mais qu'il ne la pas trouver dans sa liste de module en cours d’exécution alors un log en WARNING sera affiché.

[YYYY-MM-DD HH:MM:SS] WARNING : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ UPDATE ] [ WebUI ] Trying to remove the module WebUI but it is not found in the current running modules: LIST_CURRENT_RUNNING_MODULES

Changement de configuration d'un module (et sa relance)

Le démon a détecté que la configuration de son module n'est plus la même qu'avant, le "modules manager"affiche un résumé avec un log en INFO des différents modules concernés.

[YYYY-MM-DD HH:MM:SS] INFO : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ UPDATE ] Modules did changed:
[YYYY-MM-DD HH:MM:SS] INFO : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ UPDATE ] - Livestatus -> restarted (configuration change)

Le "modules manager" annonce avec un log INFO qu'il va redémarrer son module afin de prendre la nouvelle configuration en compte.

[YYYY-MM-DD HH:MM:SS] INFO : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ UPDATE ] [ WebUI ] Configuration of the module did change so we restart it.

Le module n'a pas réussi à se mettre à jour

Le démon à trouver une nouvelle configuration venant d'un ancien ou d'un nouveau module, mais il n'arrive pas à le mettre à jour. Le "modules manager" l'informe avec un log en ERROR.

[YYYY-MM-DD HH:MM:SS] ERROR : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ UPDATE ] [ WebUI ] Cannot find previous or new module definition for the module name WebUI, so cannot update it.

Arrêt du module - chapitre [ SHUTDOWN ]

Lorsque le démon s'éteint, il va d'abord demander au module manager d'éteindre ses modules.

Le démon éteint ses modules

Ce log en INFO indique que le "modules manager" va commencer à éteindre tous ses modules.

[YYYY-MM-DD HH:MM:SS] INFO : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ SHUTDOWN ] Start to shutdown all modules.

Le module s'éteint

Ce log en INFO indique que le "modules manager est en train d’arrêter le module.

[YYYY-MM-DD HH:MM:SS] INFO : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ SHUTDOWN ] Stopping module WebUI.

Si une exception Python a été remontée par le "modules manager" lors de l’arrêt du module, un log apparaîtra en ERROR avec le nom du module et le message de l’exception Python.

[YYYY-MM-DD HH:MM:SS] ERROR : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ SHUTDOWN ] Stopping module FAILED. Call quit() function on module: [ WebUI ] fail with error: [ EXCEPTION ].

Si le "modules manager" a essayé de supprimer un module, mais qu'il ne la pas trouver dans sa liste de module en cours d’exécution alors un log en WARNING sera affiché.

[YYYY-MM-DD HH:MM:SS] ERROR : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ SHUTDOWN ] Trying to remove the module WebUI but it is not found in the current running modules: LIST_CURRENT_RUNNING_MODULES

Le démon a fini d'éteindre ses modules

Le "modules manager" informe avec un log INFO qu'il à terminé d’arrêter tous les modules.

[YYYY-MM-DD HH:MM:SS] INFO : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ SHUTDOWN ] End of stopping all modules.

Arrêt inopiné du module - chapitre [ CRASH ]

Le module s'est arrêté de façon inattendu

Lorsqu'un module externe n'est plus en cours d’exécution et qu'il s'est éteint de façon inattendue, le "modules manager" affichera un log en ERROR.

[YYYY-MM-DD HH:MM:SS] ERROR : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CRASH ] [ synchronizer-module-database-backup ] [ module-type=synchronizer_module_database_backup ] The external module synchronizer-module-database-backup goes down unexpectedly!

Lorsqu'un ou plusieurs Worker(s) d'un module externe n'est ou ne sont plus en cours d’exécution et qu'il s'est ou qu'ils se sont éteint(s) de façon inattendue le "modules manager" affichera un log en ERROR.

[YYYY-MM-DD HH:MM:SS] ERROR : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CRASH ] [ synchronizer-module-database-backup ] [ module-type=synchronizer_module_database_backup ] The module synchronizer-module-database-backup worker(s) goes down unexpectedly!

Le module à un comportement anormal

Lorsqu'un module externe à une taille de liste d'attente d'internal commande ou de retour d'internal commande plus élevée que la taille maximale définie dans le fichier de configuration ini du démon ( max_queue_size) un log sera affiché en ERROR.

QUEUE_SIZE = Taille ( en nombre d'éléments ) de la liste d'attente. Éléments possibles : Commande(s) ou retour de commande(s).

QUEUE_MAX_SIZE = Taille ( en nombre d'éléments ) maximale de la Queue définie dans le fichier ini du démon. ( paramètre max queue size).

[YYYY-MM-DD HH:MM:SS] ERROR : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CRASH ] [ synchronizer-module-database-backup ] [ module-type=synchronizer_module_database_backup ] The external module synchronizer-module-database-backup got a too high brok queue size (QUEUE_SIZE > QUEUE_MAX_SIZE)!