Page History

Import des modules depuis /var/lib/shinken/modules - chapitre [

CODE-LOADING ]

Les démons vont lister les répertoires Chaque démon ( ou module qui possèdes d'autres modules ) va démarrer son gestionnaire de module "modules-manager" qui va charger chaque module présent dans /var/lib/shinken/modules et vont tenter de charger chaque module.

Pour qu'un module soit chargé, il faut qu'il soit présent dans un répertoire.

Chargement du code

Si le "modules-manager" rencontre un problème durant le chargement du module, un log en ERROR avec l’exception Python sera affiché et le module ne sera pas importéCe log en INFO annonce que le démon va commencer à charger ces modules un par un.

[2020YYYY-07MM-08DD 16HH:31MM:36SS] INFOERROR : [broker-master daemon_or_module_name ] [ modulesMODULES-managerMANAGER ] [ MODULE-CODE-LOADING ] [ directory=architecture-exportname_directory ] StartingImport to load the module code directory /var/lib/shinken/modules/architecture-export.module [module_name] failed: EXCEPTION.

Chargement du module en tant que package Python

Lors du chargement du code, le "modules-manager" va vérifier si un module peut être importé en tant que package Python. En cas d'échec un log en INFO sera affiché.

Ensuite démon va tenter de charger le code du module.

[

YYYY-

MM-

DD 

HH:

MM:

SS] 

INFO : [

 daemon_or_module_name ] [ 

MODULES-

MANAGER ] [ 

CODE-LOADING ] [ directory=

module_name ] Failed to 

import the directory 

/var/lib/shinken/modules/module_name as a python module.

Si cet échec est dû à un problème d'import de fichier en Python, le module ne sera pas chargé et 3 logs en ERROR seront affichés  :

• Le premier log indique que l'import a échoué et que le module ne sera pas chargé.

le démon ne trouve pas de fichier module.py un log en ERROR sera affiché avec le PATH du fichier:

• Code Block
  theme Emacs
  [

2020

• YYYY-

07

• MM-

08

• DD

16

• HH:

31

• MM:

38

• SS] ERROR : [

broker-master

• daemon_or_module_name ] [

modules

• MODULES-

manager

• MANAGER ] [

MODULE-

• CODE-LOADING ] [ directory=

architecture-export

• name_directory ] Failed to import the directory /var/lib/shinken/modules/directory_name as a python module. The module won't be loaded.

  
  

• Le second log indique que le fichier '__init__.py' dans le dossier du module est manquant ( sans ce fichier, il est impossible d'importer le module en tant que module Python ).

  - because of missing file :[PATH_DU_FICHIER].

  Si il manque le dictionnaire Python listant les propriétés du module dans module.py un log en ERROR sera affiché:

  Code Block
  theme Emacs
  [2020YYYY-07MM-08DD 16HH:31MM:38SS] ERROR : [broker-master ] [ modules-manager daemon_or_module_name ] [ MODULES-MANAGER ] [ MODULE-CODE-LOADING ] [ directory=architecture-export] Bad module file for FILE_NAME : missing properties dict. name_directory ] - because of missing file : /var/lib/shinken/modules/module_name/__init__.py.

  
  

• Le troisième log précise quel fichier n'a pas réussi à être importé dans le code du module. Dans notre exemple, c'est le fichier module_name.my_file qui n'a pas été importéSi le démon à eu une exception Pyhton durant l'import le chargement du code du module un log en ERROR sera affiché avec l'exception.

  Code Block
  theme Emacs
  [2020YYYY-07MM-08DD 16HH:31MM:38SS] ERROR : [broker-master daemon_or_module_name ] [ modulesMODULES-managerMANAGER ] [ MODULE-CODE-LOADING ] [ directory=architecture-export] Importing module architecture-export: EXCEPTION.

  Si le code du module chargé contient un import alors un log en WARNING sera affiché.

  Code Block

  theme	Emacs

  [2020-07-08 16:31:38] WARNING : [ broker-master ] [ modules-manager ] [ MODULE-CODE-LOADING ] [directory=architecture-export] - 'import architecture-export.my_file' will not work

  name_directory ] - The line 'import module_name.my_file' The module won't work in your module.py file.

  
  

Vérification des propriétés du module

Une fois que le "modules-manager" a chargé un module en tant que package Python, il va vérifier si le dictionnaire "properties" est existant dans le module.

Dans le cas contraire, le module ne sera pas importé et le log en ERROR suivant sera affiché :

[YYYY-MM-DD HH:MM:SS] ERROR : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CODE-LOADING ] [ directory=name_directory ] Missing properties dict in your module

 file

Une fois les modules chargé il y a un résumé qui est affiché en INFO avec les modules éligibles à ce démon/module:

[2020-07-08 16:31:38] INFO : [broker-master ] [ modules-manager ] [ MODULE-CODE-LOADING ] A total of 9 Shinken Enterprise modules are available for this daemon/module (broker): broker-module-livedata, event-container, graphite-perfdata, livestatus, simple-log, sla, trending, webui, MODULE-CODE-NAME (on a total of 40, loaded in 1.844s)

Création du module - chapitre [ MODULE-INSTANCE-CREATION ]

Une fois le code python chargé, on demande au démon de créer des instances pour les modules ( les vrais objets ), de les démarrer et de démarrer son ou ces Worker(s).

Création de l'instance du module

Création du module - chapitre [ CREATION ]

Une fois, le code python chargé, on demande au "modules-manager" de créer les modules, de les démarrer et de démarrer son ou ses Worker(s).

Création de l'instance du module

Le "modules-manager" va essayer de créer le module :

• Si le code du module ne contient pas la fonction "get_instance()" ou qu'elle ne retourne rien, un log en ERROR sera affiché.

  Code Block
  theme Emacs
  [YYYY-MM-DD HH:MM:SS] ERROR : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CREATION ] [ module_name] [ module-type=module_type ] The module get_instance() call did not return any instance or does not exist.

  
  

• Si le "get_instance()" du module rencontre une erreur, le log en ERROR sera affiché avec l'exception Python concernée

Le démon va essayer de créer l'instance du module.

• Si le code du module ne contient pas la fonction "get_instance()" ou qu'elle ne retourne rien un log en ERROR sera affiché:

  Code Block
  theme Emacs
  [2020YYYY-07MM-08DD 16HH:31MM:38SS] ERROR : [broker-master daemon_or_module_name ] [ modulesMODULES-managerMANAGER ] [ MODULE-INSTANCE-CREATION ] [ module_name ] [ module-type=webuimodule_type ] [name=WebUI ] FAIL0.046s] The module get_instance() callcreation did notfail returnwith any instance.

  Si le démon a réussi à charger le code du module mais n'a pas réussi à créer l'instance alors un log en ERROR sera affiché avec l'exception Python concerné:

  an exception: EXCEPTION. Will try to recreate it in the future.

  
  

Si le module a bien été créé alors un log en INFO indiquera son temps de création.

[

YYYY-

MM-

DD 

HH:

MM:

SS] 

INFO : [

 daemon_or_module_name ] [ 

MODULES-

MANAGER ] [ 

CREATION ] [

 module_name ] [

 module-type=module_type ]  [0.046s]

 The module is created.

Démarrage du module

Une fois le module créé, le "modules-manager" va essayer de le démarrer.

Ce log sera en INFO

.

[2020YYYY-07MM-08DD 16HH:31MM:38SS] INFO : [broker-master daemon_or_module_name ] [ modulesMODULES-managerMANAGER ] [ MODULE-INSTANCE-CREATION ] [module type=webui module_name ] [name=WebUI module-type=module_type ]  [0.046s] SUCCESS The module instance is created.

Démarrage de l'instance du module

Trying to init module.

Si le "modules-manager" a réussi à créer son module, mais n'a pas réussi à le démarrer alors 3 logs apparaîtront :

1. Un log en ERROR avec l'exception Python rencontrée :

1. Code Block
   theme Emacs
   [

1. YYYY-

1. MM-

1. DD

1. HH:

1. MM:

1. SS]

1. ERROR : [

1. daemon_or_module_name ] [

1. MODULES-

1. MANAGER ] [

1. CREATION ] [ module_name ] [ module-type=

1. module_type ]

1. The module failed to init

1. and he raised an exception: EXCEPTION.

   
   

2. Un log en WARNING indiquant le nombre de fois que le "modules-manager" à essayé de démarrer son module sans succès. Le compteur se remet à zéro dès lors que le démon a réussi à démarrer son module.

Si le démon a réussi à créer son n'instance mais n'a pas réussi à démarrer cette même instance alors 3 logs apparaîtrons:

1. Un log en ERROR expliquant que l'instance du module n'a pas réussi à ce démarrer suivant du message de l'exception Python puis de l'exception en question. 

   Code Block
   theme Emacs
   [2020YYYY-07MM-08DD 16HH:31MM:38SS] ERRORWARNING : [broker-master daemon_or_module_name ] [ modulesMODULES-managerMANAGER ] [ MODULE-INSTANCE-CREATION ] [module type=webui module_name ] [name=WebUI module-type=module_type ] The module failedtried to initstart: and he raised an exception: EXCEPTION5 times.

   
   

2. Un log en WARNING WARNING indiquant le nombre de fois que le démon à essayer de démarrer cette instance sans succès. Le compteur se remet à zéro des lors que le démon à réussi à démarrer l'instance.quand le "modules-manager" va essayer de redémarrer son module ( maximum une minute ).

   Code Block
   theme Emacs
   [YYYY-MM-DD HH:MM:SS
   Code Block
   theme Emacs
   [2020-07-08 16:31:38] WARNING : [broker-master daemon_or_module_name ] [ modulesMODULES-managerMANAGER ] [ MODULE-INSTANCE-CREATION ] [ module_name ] [ module-type=webuimodule_type ] [name=WebUI ] The module will triedtry to start:restart 5 timesat 16:32:18.

   
   

Un log

en INFO  apparaîtra si le "modules-manager a réussi à démarrer son module.

[

YYYY-

MM-

DD 

HH:

MM:

SS] 

INFO : [

 daemon_or_module_name ] [ 

MODULES-

MANAGER ] [ 

CREATION ] [

 module_name ] [

 module-type=module_type ] The module 

is started.

Démarrage des modules avec des workers

Une fois le module démarré, s'il utilise des Workers, le "modules-manager" va essayer de les démarrer.

• S'il n'arrive pas à les démarrer, le module redémarrera dans le futur ( max 1 minute ) afin de redémarrer les Workers.
• Ce log sera en INFO.
  
  

Un log en INFO  apparaîtra si le démon a réussi à démarrer l'instance du module.

[2020YYYY-07MM-08DD 16HH:31MM:38SS] INFO : [broker-master daemon_or_module_name ] [ modulesMODULES-managerMANAGER ] [ MODULE-INSTANCE-CREATION ] [module type=webui module_name ] [name=WebUI module-type=module_type ] SUCCESS TheStarting module is started.

Démarrage du/des Worker(s) de l'instance du module

a worker(s).

Si le "modules-manager" n'a pas réussi à démarrer le module :

1. Et qu'il a levé une exception lors du démarrage, alors un log en ERROR sera affiché disant que le "modules-manager" n'a pas réussi à démarrer les Workers du module avec le message de l'exception. Le module redémarrera dans le futur ( max 1 minute )

1. .

   Code Block
   theme Emacs
   [

1. YYYY-

1. MM-

1. DD

1. HH:

1. MM:

1. SS]

1. ERROR : [

1. daemon_or_module_name ] [ MODULES-MANAGER ] [

1. CREATION ] [

1. module_name ] [

1. module-type=module_type ]

1. The worker(s)

1. failed to init and raised an exception: EXCEPTION. The module will be restarted in the future.

   
   

2. Un

Si le démon à eu un problème de démarrage avec son/ses Wroker(s):

1. Et qu'il a levé une exception lors du démarrage alors un log en ERROR sera affiché disant que le démon "modules-manager" n'a pas réussi à démarrer le/les Worker(s) avec le message de l'exception.les Workers du module, et que le module redémarrera dans le futur ( max 1 minute ).

   Code Block
   theme Emacs
   [2020YYYY-07MM-08DD 16HH:31MM:38SS] ERROR : [broker-master daemon_or_module_name ] [ modulesMODULES-managerMANAGER ] [ MODULE-INSTANCE-CREATION ] [module type=webui module_name ] [name=WebUI module-type=module_type ] The worker(s) failed to init. andThe hemodule raised an exception: EXCEPTION.

   Alors un log en ERROR sera affiché disant que le démon n'a pas réussi à démarrer le/les Worker(s)

   will be restarted in the future.

   
   

Si les Workers du module se sont bien démarrés alors ce log en INFO apparaîtra.

[

YYYY-

MM-

DD 

HH:

MM:

SS] 

INFO : [

 daemon_or_module_name ] [ 

MODULES-

MANAGER ] [ 

CREATION ] [

 module_name ] [

 module-type=module_type ]  The worker(s) 

started.

Changement de configuration ou d'état du module - chapitre [ UPDATE ]

Rajout d'un nouveau module

Lorsqu'un démon ou un module reçoit un nouveau module, le "modules manager" affiche un log en INFO expliquant qu'il va lancer le nouveau module.

[2020YYYY-07MM-08DD 16HH:31MM:38SS] INFO : [broker-master daemon_or_module_name ] [ modulesMODULES-managerMANAGER ] [ MODULE-INSTANCE-CREATIONUPDATE ] [ module type=webui ] [name=WebUI ] SUCCESS The worker(s) is created.

Changement de configuration ou d'état du module - chapitre [ MODULE-CHANGE ]

Rajout d'un nouveau module dans un démon

Suppression d'un module

Lorsqu'un module est enlevé de la configuration du démon ou de son module, le "modules-manager" affichera un log en INFO informant que l'on supprime le module, car il n'est plus dans la configuration de son démon ou de son module

.

[2020YYYY-07MM-08DD 16HH:31MM:39SS] INFO : [broker-master daemon_or_module_name ] [ modulesMODULES-managerMANAGER ] [ MODULE-CHANGEUPDATE ] [ module_name=WebUI ] LaunchingRemoving a newthe module asbecause it wasis addedremoved in the daemon configuration.

Suppression d'un module dans un démon

Lorsque qu'un utilisateur enlève un module de la configuration du démon, on va avoir un log en INFO informant que l'on supprime le module car il n'est plus dans la configuration du démonSi le "modules-manager" a essayé de supprimer le module, mais qu'il n'a pas été trouvé dans sa liste de module en cours d’exécution alors un log en WARNING sera affiché.

[2020YYYY-07MM-08DD 16HH:31MM:39SS] INFOWARNING : [broker-master daemon_or_module_name ] [ modulesMODULES-managerMANAGER ] [MODULE-CHANGE UPDATE ] [ module_name=WebUI] Removing ] Trying to remove the module becausemodule_name but it is not removefound fromin the configuration. current running modules: LIST_CURRENT_RUNNING_MODULES

Où LIST_CURRENT_RUNNING_MODULES est la liste des modules en cours d'exécution.

Quand le "modules-manager" éteint les modules, si un module ne réussit pas à s'éteindre alors un log en ERRORsera affiché, suivi de la traceback de l'exceptionSi le démon a essayé de supprimer un module mais qu'il ne la pas trouver dans ses instances alors un log en WARNING sera affiché.

[2020YYYY-07MM-08DD 16HH:31MM:39SS] WARNINGERROR : [broker-master daemon_or_module_name ] [ modulesMODULES-managerMANAGER ] [ MODULE-CHANGEUPDATE ] [ module_name=WebUI ] Trying to remove the The module %sMODULE_NAME butfailed itto isstop notand foundraised inan the currentexception instances: INSTANCESEXCEPTION

Changement de configuration d'un module ( et sa relance )

Le démon ou le module a détecté que la configuration de son module

en cours d'exécution a changé. Le "modules-manager" indique avec un log INFO qu'il va redémarrer

le module afin de prendre en compte la nouvelle configuration

.

[2020YYYY-07MM-08DD 16HH:31MM:39SS] INFO : [broker-master daemon_or_module_name ] [ modulesMODULES-managerMANAGER ] [ MODULE-CHANGEUPDATE ] [ module_name=WebUI ] Configuration of the module did change so we restart it.

Le

module n'a pas réussi à se mettre à jour

Le démon à trouver une nouvelle configuration venant d'un ancien ou d'un nouveau module mais il ou le module n'arrive pas à le mettre à jour son module. Le démon vous l'informe "modules-manager" informe qu'il faut contacter le support avec un log en ERROR.

[2020YYYY-07MM-08DD 16HH:31MM:39SS] ERROR : [broker-master daemon_or_module_name ] [ modulesMODULES-managerMANAGER ] [ MODULE-CHANGEUPDATE ] [ module_name=WebUI ] CannotWe findcannot previous or newupdate 'module_name' module. definitionPlease forcontact the module name WebUI, so cannot update ityour Support.

Arrêt du module

- chapitre [

 SHUTDOWN ]

Lorsqu'un module externe n'est plus en cours d’exécution et qu'il s'est éteint de façon inattendue le démon affichera un log en ERRORdémon s'éteint, il va d'abord demander au "modules-manager" d'éteindre ses modules.

Le démon éteint ses modules

Ce log en INFO indique que le "modules-manager" va commencer à éteindre tous ses modules.

[2020YYYY-07MM-08DD 16HH:31MM:38SS] ERRORINFO : [broker-master daemon_or_module_name ] [ modulesMODULES-managerMANAGER ] [ MODULE-INSTANCE-CRASH] [module type=synchronizer_module_database_backup] [name=synchronizer-module-database-backup] The external module synchronizer-module-database-backup goes down unexpectedly!SHUTDOWN ] Start to shutdown all modules.

Le module s'éteint

Ce log en INFO indique que le "modules-manager est en train d’arrêter le moduleLorsqu'un ou plusieurs Worker(s) d'un module externe n'est ou ne sont plus en cours d’exécution et qu'il s'est ou qu'ils se sont éteint(s) de façon inattendue le démon affichera un log en ERROR.

[2020YYYY-07MM-08DD 16HH:31MM:38SS] ERRORINFO : [broker-master daemon_or_module_name ] [ modulesMODULES-managerMANAGER ] [ SHUTDOWN MODULE-INSTANCE-CRASH] Stopping [module type=synchronizer_module_database_backup] [name=synchronizer-module-database-backup] The module synchronizer-module-database-backup worker(s) goes down unexpectedly!

Si un module a pu prévenir lors de son arrêt (par exemple la WebUI détecte qu'elle a un problème avec ses fichiers .html ou .js, elle peux prévenir le démon avant de s’arrêter), on aura le log explicatif issu du module:

[YYYY-MM-DD HH:MM:SS] ERROR : [ broker-master   ] [ MODULES-MANAGER  ] [ MODULE-INSTANCE-CRASH  ] [ WebUI                  ] [ module_type=webui      ]      The __shinken_lang__ variable was not found in the index.html file: there is a critical error with your installation. Please open a ticket to your support.

Le module à un comportement anormal

name.

Si une exception Python a été remontée par le "modules-manager" lors de l’arrêt du module, un log apparaîtra en ERROR avec le nom du module et le message de l’exception Python.

[YYYY-MM-DD HH:MM:SS] ERROR : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ SHUTDOWN ] Stopping module failed. The quit() function on module [ module_name ] failed with error: EXCEPTION.

Si le "modules-manager" a essayé de supprimer un module, mais qu'il ne l'a pas trouvé dans sa liste de modules en cours d’exécution alors un log en ERROR sera affiché.

[YYYY-MM-DD HH:MM:SS] ERROR : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ SHUTDOWN ] Trying to remove the module module_name but it is not found in the current running modules: LIST_CURRENT_RUNNING_MODULES

Le démon a fini d'éteindre ses modules

Le "modules-manager" informe avec un log INFO qu'il a terminé d’arrêter tous les modules.

[YYYY-MM-DD HH:MM:SS] INFO : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ SHUTDOWN ] Stopping all modules ended.

Arrêt inopiné du module - chapitre [ CRASH ]

Le module s'est arrêté de façon inattendu

Lorsqu'un module n'est plus en cours d’exécution et qu'il s'est éteint de façon inattendue, le "modules-manager" affichera un log en ERROR.

[YYYY-MM-DD HH:MM:SS] ERROR : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CRASH ] [ module_name ] [ module-type=module_type ] The module module_name goes down unexpectedly!

Lorsqu'un ou plusieurs Worker(s) d'un module ne sont plus en cours d’exécution et qu'ils se sont éteint(s) de manière inattendue, le "modules-manager" affichera un log en ERROR.

[YYYY-MM-DD HH:MM:SS] ERROR : [ daemon_or_module_name ] [ MODULES-MANAGER ] [ CRASH ] [ module_name ] [ module-type=module_type ] The module module_name worker(s) goes down unexpectedly!

Le module a un comportement anormal

Lorsqu'un module externe a une taille de liste d'attente ( de commande interne ou de retour de commande interne ) plus élevée que la taille maximale définie dans le fichier de configuration ini du démon ( max_queue_size ), un log sera affiché en ERROR.

• QUEUE_SIZE = Taille ( en nombre d'éléments ) de la liste d'attente. Éléments possibles : Commande(s) ou retour(s) de commande(s).
• QUEUE_MAX_SIZE = Taille ( en nombre d'éléments ) maximale de la Queue définie dans le fichier ini du démon ( paramètre max queue size )

• .
  
  

[2020YYYY-07MM-08DD 16HH:31MM:38SS] ERROR : [broker-master daemon_or_module_name ] [ modulesMODULES-managerMANAGER ] [ MODULE-INSTANCE-CRASH ] [module type=synchronizer_module_database_backupname ] [name=synchronizer-module-database-backup module-type=module_type ] The external module synchronizer-module-database-backupmodule_name got a too high brok queue size ( QUEUE_SIZE > QUEUE_MAX-_SIZE )!