Page History

Import des modules depuis /var/lib/shinken/modules - chapitre [ CODE-LOADING ]

Les démons vont démarrer leurs modules manager qui vont lister les répertoires dans /var/lib/shinken/modules et vont tenter de charger chaque module.

Chargement du code du module

Le "modules manager" va regarder si le fichier "module_info.json" placé dans le répertoire du module existe. Si il n'existe pas un log en WARNING sera affiché.

[YYYY-MM-DD HH:MM:SS] WARNING : [ broker-master ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=architecture-export ] Missing 'module_info.json' file at the path /var/lib/shinken/modules/architecture-export/module_info.json. The code of the module gonna be charged.

Après que le "modules manager" est ait regarder si le fichier "module_info.json" existe, il va regardé regarder si la clé "daemons" est bien présente dans le fichier. Si elle n'existe pas un log en WARNING sera affiché.

[YYYY-MM-DD HH:MM:SS] WARNING : [ broker-master ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=architecture-export ] Missing 'daemons' key in the 'module_info.json' file at the path /var/lib/shinken/modules/architecture-export/module_info.json. The code of the module gonna be charged.

Si le "modules manager" n'a pas réussit à lire le fichier à cause d'un problème de formatage, un log en WARNING sera affiché.

[YYYY-MM-DD HH:MM:SS] WARNING : [ broker-master ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=architecture-export ] The 'module_info.json' file at the path /var/lib/shinken/modules/architecture-export/module_info.json is malformed. The code of the module gonna be charged.

Si le "modules manager" n'a pas réussit à lire le fichier à cause d'un problème de permissions, un log en WARNING sera affiché.

[YYYY-MM-DD HH:MM:SS] WARNING : [ broker-master ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=architecture-export ] Permission denied to read file 'module_info.json' file at the path /var/lib/shinken/modules/architecture-export/module_info.json. The code of the module gonna be charged.

Le "modules manager" annonce qu'il va commencer à charger le code de son module. Un log en INFO apparaîtra.

[YYYY-MM-DD HH:MM:SS] INFO DEBUG : [ broker-master ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=architecture-export ] Starting to load the module code directory /var/lib/shinken/modules/architecture-export.

Si le "modules manager" trouve une exception Python durant le procédé d'import du module, un log en ERROR avec l’exception sera affiché et le module ne sera pas importé.

[YYYY-MM-DD HH:MM:SS] ERROR : [ broker-master ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=architecture-export ] Import module [architecture-export] failed: EXCEPTION.

Chargement du module en tant que module Python

Une fois que le "modules manager" à charger le code du module il va vérifier si le module peut être importé en tant qu'un module python. Un log en DEBUG INFO apparaîtra.

aaaaa

[YYYY-MM-DD HH:MM:SS] INFO : [ broker-master ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=architecture-export ] StartingTry to loadimport thea module code directoryin /var/lib/shinken/modules/architecture-export as python module.

Si le "modules manager" ne peut pas importer le code

du module en tant que module python alors des logs en WARNING formant un bloc apparaîtrons.

• Un premier log expliquant que le "modules manager" n'a pas réussi à importer le module en tant que python module.

  Code Block
  theme Emacs
  [YYYY-

• MM-DD HH:MM:SS]

• WARNING : [ broker-master ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=architecture-export ]

• Failed to import

• the

• directory

• /var/lib/shinken/modules/architecture-export as a python module.

Si le "modules manager" ne peut pas importer le code du module en tant que module python alors des logs en WARNING formant un bloc apparaîtrons.

• 
  

• Un premier log expliquant que le "modules manager" n'a pas réussi à Un second log s'affichera seulement s'il manque le fichier '__init__.py' dans le dossier du module. Sans ce fichier il n'est pas possible d'importer le module en tant que python module Python.

  Code Block
  theme Emacs
  [YYYY-MM-DD HH:MM:SS] WARNING : [ broker-master ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=architecture-export ] Failed- because toof importmissing thefile directory: /var/lib/shinken/modules/architecture-export as a python module/__init__.py.

  
  

• Un second troisième log s'affichera seulement s'il manque le fichier '__init__.py' dans le dossier du module. Sans ce fichier il n'est pas possible d'importer le module informant qu'il n'est pas possible de faire un import : 'import architecture-export.my_file '. Car le module n'a pas été importé en tant que module Pythonpython.

  Code Block
  theme Emacs
  [YYYY-MM-DD HH:MM:SS] WARNING : [ broker-master ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=architecture-export ] - because of missing file : /var/lib/shinken/modules/architecture-export/__init__.py.

  Un troisième log informant qu'il n'est pas possible de faire un import : 'import architecture-export.my_file '. Car le module n'a pas été importé en tant que module python.

  Code Block

  'import architecture-export.my_file' will not work in your module.py file.

  
  

Si le "modules manager" a réussi à importer, le module en tant que Python module alors un log en INFO apparaîtra.

[YYYY-MM-DD HH:MM:SS] 

INFO : [ broker-master ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=architecture-export ] 

Success to 

import the directory /var/lib/shinken/modules/architecture-export

/ as a python module.

Vérification des propriétés du module

Une fois que le modules manager à importer (ou non) son

module en tant que

python module, il va vérifier si le dictionnaire "properties " existe.

S'il n'existe pas alors un log en 

ERROR sera affiché expliquant que le dictionnaire est manquant et que le module ne sera par conséquent pas importé.

[YYYY-MM-DD HH:MM:SS] INFOERROR : [ broker-master ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=architecture-export ] Success to import the directoryMissing properties dict in your module file /var/lib/shinken/modules/architecture-export/ as a python modulemodule.py. The module will not be imported.

Création du module - chapitre [ CREATION ]

Une fois

le code python chargé, on demande au "modules manager" de créer les modules, de les démarrer et de démarrer son ou ces Worker(s).

Création de l'instance du module

Le "modules manager" va essayer de créer l'instance du module :

• Si le code du module ne contient pas la fonction "get_instance()" ou qu'elle ne retourne rien, un log en ERROR sera affiché.

  Code Block
  theme Emacs
  [YYYY-MM-DD HH:MM:SS] ERROR : [ broker-master ] [ MODULES-MANAGER ] [ CREATION ] [ WebUI ] [ module-type=webui ] FAIL The module get_instance() call did not return any instance.

  
  

• Si le "modules manager" a réussi à charger le code du module, mais n'a pas réussi à créer l'instance alors un log en ERROR sera affiché avec l'exception Python concernée.

  Code Block
  theme Emacs
  [YYYY-MM-DD HH:MM:SS] ERROR : [ broker-master ] [ MODULES-MANAGER ] [ CREATION ] [ WebUI ] [ module-type=webui ] [0.046s] FAIL The module creation did fail with an exception: EXCEPTION. Remove this module currently, will try to recreate it in the future.

  
  

Si l'instance a bien été créée alors un log en INFO sera affiché son temps de création.

[YYYY-MM-DD HH:MM:SS] INFO : [ broker-master ] [ MODULES-MANAGER ] [ CREATION ] [ WebUI ] [ module-type=webui ]  [0.046s] SUCCESS The module instance is created.

Démarrage du module

Une fois le module créé le modules manager va essayer de la démarrer. Ce log sera en INFO.

[YYYY-MM-DD HH:MM:SS] INFO : [ broker-master ] [ MODULES-MANAGER ] [ CREATION ] [ WebUI ] [ module-type=webui ]  Trying to init module.

Si le "modules manager" a réussi à créer son module, mais n'a pas réussi à le démarrer alors 3 logs apparaîtront :

1. Un log en ERROR expliquant que le module n'a pas réussi à se démarrer suivie du message de l'exception Python puis de l'exception en question. 

   Code Block
   theme Emacs
   [YYYY-MM-DD HH:MM:SS] ERROR : [ broker-master ] [ MODULES-MANAGER ] [ CREATION ] [ WebUI ] [ module-type=webui ] The module failed to init and he raised an exception: EXCEPTION.

   
   

2. Un log en WARNING indiquant le nombre de fois que le "modules manager" à essayer de démarrer son module sans succès. Le compteur se remet à zéro dès lors que le démon a réussi à démarrer son module.

   Code Block
   theme Emacs
   [YYYY-MM-DD HH:MM:SS] WARNING : [ broker-master ] [ MODULES-MANAGER ] [ CREATION ] [ WebUI ] [ module-type=webui ] The module tried to start: 5 times.

   
   

3. Un log en WARNING indiquant quand le "modules manager" va essayer de redémarrer son module (maximum une minute).

   Code Block
   theme Emacs
   [YYYY-MM-DD HH:MM:SS] WARNING : [ broker-master ] [ MODULES-MANAGER ] [ CREATION ] [ WebUI ] [ module-type=webui ] The module will try to restart at 16:32:18.

   
   

Un log en INFO  apparaîtra si le "modules manager a réussi à démarrer son module.

[YYYY-MM-DD HH:MM:SS] INFO : [ broker-master ] [ MODULES-MANAGER ] [ CREATION ] [ WebUI ] [ module-type=webui ]  SUCCESS The module is started.

Démarrage du/des Worker(s) du module

Une fois le module démarré le "modules manager" va essayer de démarrer son/ses Worker(s). Ce log sera en INFO.

[YYYY-MM-DD HH:MM:SS] INFO : [ broker-master ] [ MODULES-MANAGER ] [ CREATION ] [ WebUI ] [ module-type=webui ]  Starting a worker(s).

Si le "modules manager" n'a pas réussi à démarrer le/les Wroker(s) du module :

1. Et qu'il a levé une exception lors du démarrage alors un log en ERROR sera affiché disant que le "modules manager" n'a pas réussi à démarrer le/les Worker(s) du module avec le message de l'exception.

   Code Block
   theme Emacs
   [YYYY-MM-DD HH:MM:SS] ERROR : [ broker-master ] [ MODULES-MANAGER ] [ CREATION ] [ WebUI ] [ module-type=webui ] The worker(s) failed to init and he raised an exception: EXCEPTION.

   
   

2. Alors un log en ERROR sera affiché disant que le "modules manager" n'a pas réussi à démarrer le/les Worker(s) du module.

   Code Block
   theme Emacs
   [YYYY-MM-DD HH:MM:SS] ERROR : [ broker-master ] [ MODULES-MANAGER ] [ CREATION ] [ WebUI ] [ module-type=webui ] The worker(s) failed to init.

   
   

Si le/les Worker(s) du module ce sont bien démarrer alors ce log en  INFO apparaîtra.

[YYYY-MM-DD HH:MM:SS] INFO : [ broker-master ] [ MODULES-MANAGER ] [ CREATION ] [ WebUI ] [ module-type=webui ]  SUCCESS The worker(s) is created.

Changement de configuration ou d'état du module - chapitre [ UPDATE ]

Rajout d'un nouveau module dans un démon

Lorsqu'un démon reçoit un nouveau module, le "modules manager" affichera un log en  INFO  comme quoi le module a été ajouté à la configuration du démon.

[YYYY-MM-DD HH:MM:SS] INFO : [ broker-master ] [ MODULES-MANAGER ] [ UPDATE ] [ WebUI ] Launching a new module as it was added in the daemon configuration.

Suppression d'un module dans un démon

Lorsqu'un utilisateur enlève un module de la configuration du démon, le "modules manager" affichera un log en INFO informant que l'on supprime le module, car il n'est plus dans la configuration du démon.

[YYYY-MM-DD HH:MM:SS] INFO : [ broker-master ] [ MODULES-MANAGER ] [UPDATE ] [ WebUI ] Removing the module because it is removed from the configuration.

Si le "modules manager" a essayé de supprimer un module, mais qu'il ne la pas trouver dans sa liste de module en cours d’exécution alors un log en WARNING sera affiché.

[YYYY-MM-DD HH:MM:SS] WARNING : [ broker-master ] [ MODULES-MANAGER ] [ UPDATE ] [ WebUI ] Trying to remove the module WebUI but it is not found in the current running modules: LIST_CURRENT_RUNNING_MODULES

Changement de configuration d'un module (et sa relance)

Le démon a détecté que la configuration de son module n'est plus la même qu'avant le "modules manager" annonce avec un log INFO qu'il va redémarrer son module afin de prendre la nouvelle configuration en compte.

[YYYY-MM-DD HH:MM:SS] INFO : [ broker-master ] [ MODULES-MANAGER ] [ UPDATE ] [ WebUI ] Configuration of the module did change so we restart it.

Le module n'a pas réussi à se mettre à jour

Le démon à trouver une nouvelle configuration venant d'un ancien ou d'un nouveau module, mais il n'arrive pas à le mettre à jour. Le "modules manager" l'informe avec un log en ERROR.

[YYYY-MM-DD HH:MM:SS] ERROR : [ broker-master ] [ MODULES-MANAGER ] [ UPDATE ] [ WebUI ] Cannot find previous or new module definition for the module name WebUI, so cannot update it.

Arrêt du module - chapitre [ SHUTDOWN ]

Lorsque le démon s'éteint, il va d'abord demander au module manager d'éteindre ses modules.

Le démon éteint ses modules

Ce log en INFO indique que le "modules manager" va commencer à éteindre tous ses modules.

[YYYY-MM-DD HH:MM:SS] INFO : [ broker-master ] [ MODULES-MANAGER ] [ SHUTDOWN ] Start to shutdown all modules.

Le module s'éteint

Ce log en INFO indique que le "modules manager est en train d’arrêter le module.

[YYYY-MM-DD HH:MM:SS] INFO : [ broker-master ] [ MODULES-MANAGER ] [ SHUTDOWN ] Stopping module WebUI.

Si une exception Python a été remontée par le "modules manager" lors de l’arrêt du module, un log apparaîtra en ERROR avec le nom du module et le message de l’exception Python.

[YYYY-MM-DD HH:MM:SS] ERROR : [ broker-master ] [ MODULES-MANAGER ] [ SHUTDOWN ] Stopping module FAILED. Call quit() function on module: [ WebUI ] fail with error: [ EXCEPTION ].

Si le "modules manager" a essayé de supprimer un module, mais qu'il ne la pas trouver dans sa liste de module en cours d’exécution alors un log en WARNING sera affiché.

[YYYY-MM-DD HH:MM:SS] ERROR : [ broker-master ] [ MODULES-MANAGER ] [ SHUTDOWN ] Trying to remove the module WebUI but it is not found in the current running modules: LIST_CURRENT_RUNNING_MODULES

Le démon a fini d'éteindre ses modules

Le "modules manager" informe avec un log INFO qu'il à terminé d’arrêter tous les modules.

[YYYY-MM-DD HH:MM:SS] INFO : [ broker-master ] [ MODULES-MANAGER ] [ SHUTDOWN ] End of stopping all modules.

Arrêt inopiné du module - chapitre [ CRASH ]

Le module s'est arrêté de façon inattendu

Lorsqu'un module externe n'est plus en cours d’exécution et qu'il s'est éteint de façon inattendue, le "modules manager" affichera un log en ERROR.

[YYYY-MM-DD HH:MM:SS] ERROR : [ broker-master ] [ MODULES-MANAGER ] [ CRASH] [ synchronizer-module-database-backup ] [ module-type=synchronizer_module_database_backup ] The external module synchronizer-module-database-backup goes down unexpectedly!

Lorsqu'un ou plusieurs Worker(s) d'un module externe n'est ou ne sont plus en cours d’exécution et qu'il s'est ou qu'ils se sont éteint(s) de façon inattendue le "modules manager" affichera un log en ERROR.

[YYYY-MM-DD HH:MM:SS] ERROR : [ broker-master ] [ MODULES-MANAGER ] [ CRASH] [ synchronizer-module-database-backup ] [ module-type=synchronizer_module_database_backup ] The module synchronizer-module-database-backup worker(s) goes down unexpectedly!

Si un module a pu prévenir lors de son arrêt (par exemple la WebUI détecte qu'elle a un problème avec ses fichiers .html ou .js, elle peut prévenir le démon avant de s’arrêter), on aura le log explicatif en ERROR issu du module.

[YYYY-MM-DD HH:MM:SS] ERROR : [ broker-master ] [ MODULES-MANAGER ] [ CRASH ] [ WebUI ] [ module_type=webui ] The __shinken_lang__ variable was not found in the index.html file: there is a critical error with your installation. Please open a ticket to your support.

Le module à un comportement anormal

Lorsqu'un module externe à une taille de liste d'attente d'internal commande ou de retour d'internal commande plus élevée que la taille maximale définie dans le fichier de configuration ini du démon (  max_queue_size) un log sera affiché en ERROR.

QUEUE_SIZE = Taille ( en nombre d'éléments ) de la liste d'attente. Éléments possibles : Commande(s) ou retour de commande(s).

QUEUE_MAX_SIZE = Taille ( en nombre d'éléments ) maximale de la Queue définie dans le fichier ini du démon. ( paramètre max queue size)

.

[YYYY-MM-DD HH:MM:SS] ERROR : [ broker-master ] [ MODULES-MANAGER ] [ CODE-LOADINGCRASH] [ synchronizer-module-database-backup ] [ directory=architecture-exportmodule-type=synchronizer_module_database_backup ] MissingThe propertiesexternal dict in your module file /var/lib/shinken/modules/architecture-export/module.py. The module will not be imported.
module synchronizer-module-database-backup got a too high brok queue size (QUEUE_SIZE > QUEUE_MAX_SIZE)!

Les démons vont lister les répertoires dans /var/lib/shinken/modules et vont tenter de charger chaque module.

Ceci va créer une entrée DEBUG:

[2020-07-08 16:31:36] DEBUG : [broker-master ] [modules-manager ] [MODULE-CODE-LOADING] [directory=architecture-export ] Starting to load the module code directory /var/lib/shinken/modules/architecture-export.

Quand l'import est effectué, on aura une ligne en DEBUG:

[2020-07-08 16:31:36] DEBUG : [broker-master ] [modules-manager ] [MODULE-CODE-LOADING] [directory=architecture-export ] [0.021s] Module code was loaded. Did import 10 python new librairies (PIL,PIL.Image,PIL.ImageMode,PIL._binary,_imaging,architecture-export,architecture-export.mapper,shinken.webui.bottlewebui,shinken.webui.bottlewebui.ext,shinken.webui.cherrypybackend).

Ceci donne le temps de chargement, mais également les nouvelles librairies importées.

À la fin des chargements, il y a un résumé en INFO qui est affiché:

[2020-07-08 16:31:38] INFO : [broker-master ] [modules-manager ] [MODULE-CODE-LOADING] A total of 9 Shinken Enterprise modules are available for this daemon/module (broker): broker-module-livedata, event-container, graphite-perfdata, livestatus, simple-log, sla, trending, webui, MODULE-CODE-NAME (on a total of 40, loaded in 1.844s)

Les modules éligibles à ce démon/module sont listés.

Création des instances de modules

Une fois le code python chargé, on lui demande de créer des instances pour les modules ( les vrais objets ):

[2020-07-08 16:31:38] DEBUG : [broker-master ] [modules-manager ] [MODULE-INSTANCE-CREATION] [module type=webui ] [name=WebUI ] Start to create the module instance

Une fois créé, on a un log en INFO concernant le temps que ça a pris.

[2020-07-08 16:31:38] INFO : [broker-master ] [modules-manager ] [MODULE-INSTANCE-CREATION] [module type=webui ] [name=WebUI ] [0.046s] SUCCESS The module instance is created.

Initialisation des instances de modules

Une fois les instances créées, on leur demande de se préparer ( ouvrir leurs connexions, lancer les processus pour les modules externes ou avec des workers, etc ).

Ceci sera de l'ordre de la seconde pour le cas des modules avec workers ( il faut créer les queues de connexions, lancer les processus et le manager de queue, etc ).

[2020-07-08 16:31:38] INFO : [broker-master ] [modules-manager ] [MODULE-INSTANCE-CREATION] [WebUI ] Trying to initialize module by calling it's init method.

Quand l'initialisation est finie, un log INFO est affiché.

[2020-07-08 16:31:39] INFO : [broker-master ] [modules-manager ] [MODULE-INSTANCE-CREATION] [WebUI ] [0.801s] SUCCESS The module was initialized successfully.

Rajout d'un nouveau module dans un démon

Lorsqu'un démon reçoit un nouveau module, on va avoir une entrée MODULES-CHANGE en INFO comme quoi le module est started:

[2020-07-09 13:29:58] INFO : [broker-master ] [modules-manager ] [MODULES-CHANGE ] Modules did changed:
[2020-07-09 13:29:58] INFO : [broker-master ] [modules-manager ] [MODULES-CHANGE ] - WebUI -> started (new)

[2020-07-09 13:29:58] INFO : [broker-master ] [modules-manager ] [MODULES-CHANGE ] - sla -> started (new)

À noter que les sous-modules d'un module seront eux affichés en DEBUG:

[2020-07-09 13:29:58] INFO : [broker-master ] [modules-manager ] [MODULES-CHANGE ] - WebUI -> started (new)
[2020-07-09 13:29:58] DEBUG : [broker-master ] [modules-manager ] [MODULES-CHANGE ] * Cfg_password
[2020-07-09 13:29:58] DEBUG : [broker-master ] [modules-manager ] [MODULES-CHANGE ] * sla

Suppression d'un module dans un démon

Quand un module est enlevé de la configuration d'un démon, celui-ci l'affichera avec une entrée MODULES-CHANGE en INFO comme quoi le module est stopped:

[2020-07-09 13:57:31] INFO : [broker-master ] [modules-manager ] [MODULES-CHANGE ] Modules did changed:
[2020-07-09 13:57:31] INFO : [broker-master ] [modules-manager ] [MODULES-CHANGE ] - Livestatus -> stopped (removed)

Changement de configuration d'un module (et sa relance)

Quand la configuration d'un module change (ou la configuration d'un de ses sous-modules) alors le module est redémarré (et ses processus redémarrés si besoin). Ceci est loggué avec une entrée MODULES-CHANGE en INFO comme quoi le module est restarted:

[2020-07-09 13:51:49] INFO : [broker-master ] [modules-manager ] [MODULES-CHANGE ] Modules did changed:
[2020-07-09 13:51:49] INFO : [broker-master ] [modules-manager ] [MODULES-CHANGE ] - Livestatus -> restarted (configuration change)