Page History

Concept

Cette source permet d'importer de nouveaux éléments via des fichiers .cfg.

La syntaxe d'import de ces fichiers est la même que la syntaxe Nagios, plus des ajouts de Shinken Entreprise:

• Il est donc possible d'importer des fichiers de configuration Nagios dans Shinken, et ainsi migrer sa configuration Nagios vers Shinken Entreprise facilement.
• Les fichiers de configuration Shinken Framwork sont évidemment supportés et importables dans Shinken Entreprise.

Cette page vous explique comment définir ce type de collecteur et la page Collecteur de type ( cfg-file-import ) - Import depuis des fichiers au format .cfg vous décrit comment l'utiliser.

Activation du collecteur

Vous pouvez essayer ce type de source soit en activant vos propres collecteurs de type cfg-file-import ou en activant le collecteur cfg-file-nagios présents par défaut.

Ajouter un collecteur d'import de fichier .cfg

Vous pouvez avoir plusieurs sources du type cfg-file-import, pour par exemple trier les éléments.

Choisissez un nom pour ce nouveau collecteur.

• Pour l'exemple, nous allons l'appeler "Mon-Collecteur-de-Fichier".
• Remplacer dans l'exemple le mot "Mon-Collecteur-de-Fichier" par le nom que vous aurez choisi.

Faites les opérations suivantes :

• Copier le fichier de définition de la source d'exemple : /etc/shinken-user-example/configuration/daemons/synchronizers/sources/cfg-file-import/cfg-file-import-example.cfg dans le répertoire de définition des sources /etc/shinken/sources/ et modifier son nom.
  ( Exemple : /etc/shinken/sources/collector__cfg-file-import__Mon-Collecteur-de-Fichier.cfg )
  
  

  Code Block
  language bash theme ConfluenceEmacs
  cp /etc/shinken-user-example/configuration/daemons/synchronizers/sources/cfg-file-import/cfg-file-import-example.cfg /etc/shinken/sources/collector__cfg-file-import__Mon-Collecteur-de-Fichier.cfg

• Mettre les droits d'écriture au fichier

  Code Block
  language bash theme ConfluenceEmacs
  chmod -R 664 /etc/shinken/sources/collector__cfg-file-import__Mon-Collecteur-de-Fichier.cfg

• Ouvrer ce fichier ( collector__cfg-file-import__Mon-Collecteur-de-Fichier.cfg ) :
  
  

  • Modifier la ligne source_name en remplaçant le nom par défaut "cfg-file-example" par le nom que vous avez choisi "Mon-Collecteur-de-Fichier".

    Code Block
    language bash theme Confluence
    source_name Mon-Collecteur-de-Fichier

  • Modifier le chemin du fichier de définition vers celui présent dans le dossier de votre source

    Code Block
    language bash theme Confluence
    cfg_path     /etc/shinken-user/source-data/source-data__Mon-Collecteur-de-Fichier/definition__Mon-Collecteur-de-Fichier.cfg

• Copier le dossier d'exemple de la source dans le répertoire des données des sources /etc/shinken-user/source-data/ et donner lui un nom.
  ( Exemple : /etc/shinken-user/source-data/source-data__Mon-Collecteur-de-Fichier )
  
  

  Code Block
  language bash theme ConfluenceEmacs
  cp -r /etc/shinken-user-example/configuration/daemons/synchronizers/sources/cfg-file-import/source-data__cfg-file-import__example /etc/shinken-user/source-data/source-data__Mon-Collecteur-de-Fichier/

• Renommer le fichier de définition des chemins de la source pour lui donner le nom de votre source

  Code Block
  language bash theme ConfluenceEmacs
  mv /etc/shinken-user/source-data/source-data__Mon-Collecteur-de-Fichier/definition-cfg-file-import-example.cfg /etc/shinken-user/source-data/source-data__Mon-Collecteur-de-Fichier/definition__Mon-Collecteur-de-Fichier.cfg

  
  

  • Par défaut, definition__Mon-Collecteur-de-Fichier.cfg indique que le collecteur importera tous les fichiers qui sont dans ce répertoire et les sous-répertoires. Mais vous pouvez le modifier cela ( regarder

  la page OLD - Importer ses propres fichiers CFG pour

  • le chapitre Configuration du fichier de définition des données de la source pour plus de détail ).
    
    

  • Chaque collecteur peut importer ses propres variables globales ( regarder le chapitre Définition de Données globales ).

• Une fois que les fichiers ont été éditésUne fois que les fichiers ont été édités, vérifiez que les droits sont bons ( droit de lecture pour l'utilisateur Shinken ) .
  Si ce n'est pas le cas, effectuez la commande suivante :

  Code Block
  language bash theme ConfluenceEmacs
  chmod -R 764 /etc/shinken-user/source-data/source-data__Mon-Collecteur-de-Fichier chown -R shinken:shinken /etc/shinken-user/source-data/source-data__Mon-Collecteur-de-Fichier

• Ajouter le nom de la nouvelle source au Synchronizer en modifiant le paramètre sources du fichier /etc/shinken/synchronizers/synchronizer-master.cfg.

  Code Block
  language bash theme Confluence
  define synchronizer { [...] sources Source 1, Source 2, Source 3, Mon-Collecteur-de-Fichier   [...] }

• Redémarrez le Synchronizer pour qu'il puisse prendre en compte cette nouvelle source

  Code Block

  language	bash
  theme	Confluence

  service shinken-synchronizer restart

  Excerpt Include
  Configuration ( Synchronizer ) Configuration ( Synchronizer ) page DefaultLink[destination=Optional[PageResourceIdentifier[spaceKey=<null>,title=Configuration ( Synchronizer )]],body=Optional.empty,tooltip=Optional.empty,anchor=Optional.empty,target=Optional.empty] nopanel true

Activer le collecteur d'import de fichier cfg-file-nagios livré par défaut

Par défaut, l’installation ou la mise à jour de Shinken Entreprise va mettre à disposition une définition de collecteur d'import de fichier Nagios au format .cfg.

• La configuration de ce collecteur se trouve par défaut dans le fichier : /etc/shinken/sources/cfg-file-nagios.cfg
• Le collecteur cfg-file-sample s'active comme les autres sources, c'est-à-dire en modifiant le fichier /etc/shinken/synchronizers/synchronizer-master.cfg ( ou le .cfg que vous utilisez pour définir les options du Synchronizer )
  • Ce collecteur est déjà présent dans la liste des sources livrées par défaut, il n'y a donc rien à modifier.
    

  • S’il n'y est pas ( car modifié ), vous pouvez le rajouter pour qu'il soit de nouveau actif.

Exemple :

sources     source1,source2,source3,cfg-file-nagios

• Redémarrez le Synchronizer pour qu'il puisse prendre en compte cette nouvelle source

  Code Block

  language	bash
  theme	Confluence

  service shinken-synchronizer restart

  Excerpt Include
  Configuration ( Synchronizer ) Configuration ( Synchronizer ) page DefaultLink[destination=Optional[PageResourceIdentifier[spaceKey=<null>,title=Configuration ( Synchronizer )]],body=Optional.empty,tooltip=Optional.empty,anchor=Optional.empty,target=Optional.empty] nopanel true

Configuration

Voici le détail du fichier de configuration de la source qui se trouve ( suivant la procédure choisie ) :

• Soit dans le fichier que vous venez de créer en ajoutant le module ( par exemple /etc/shinken/sources/collector__cfg-file-import__Mon-Collecteur-de-Fichier.cfg ).
• Soit dans le fichier /etc/shinken/sources/cfg-file-nagios.cfg.
  

Exemple de fichier de configuration

Vous trouverez un exemple dans /etc/shinken-user-example/configuration/daemons/synchronizers/sources/cfg-file-import/cfg-file-import-example.cfg

#===============================================================================
# cfg-file-import-example
#===============================================================================
# Daemons that can load this source:
# - synchronizer
# This source import the cfg-config sample from Shinken Enterprise update.
#===============================================================================

define source {

    #======== Source identity ==============
    # Source name. Must be unique
    source_name                             cfg-file-import-example

    # Module type (to load module code). Do not edit.
    module_type                             cfg-file-import

    # description: display a description on the interface for this source
    description                             This source is about loading cfg files compatible with Shinken

    # enabled: is this source enabled or not
    enabled                                 1


    #======== Import interval and order ====
    # import_interval:  in minutes, what is the schedule import interval for this source.
    # note: 0 = don't schedule this source, will run only if an administrator launch it from the interface
    import_interval                         5

    # order: source order for a source imply if a source is before an another source when
    # merging data
    order                                   1


    #======== Location =====================
    # Location of the source definition file. This file will be used to define where the .cfg files are to be imported.
    cfg_path	    	                    /etc/shinken-user/source-data/source-data-cfg-file-import-example/definition-cfg-file-import-example.cfg


    #======== Synchronization keys =========
    # The list of properties to be used as sync_keys in addition to the item name. Properties not managed by Shinken can be added here.
    # properties_used_as_synckey            address


    #======== Properties not stored ========
    # Properties which can be defined in the items from the source but which Shinken will not import.
    # not_stored_properties

    
    #======== SE_UUID in cfg file ==========
    # With this option if item in cfg hasn't a SE_UUID, the source will ask the synchronizer to search a match in staging or in working area. If found, it will be inserted in the file.
    # update_cfg_with_staging_se_uuid       0

    # With this option if item in cfg hasn't a SE_UUID, the source will create it and write in the file
    # create_and_write_SEUUID_in_file       0  }

Détails des sections composant le fichier de configuration

Identification de la source

Il est possible de définir plusieurs instances de module de type cfg-file-import dans votre architecture Shinken.

• Chaque instance devra avoir un nom unique.
  
  

source_name 

module_type 

description	

enabled	

Options de mélange des sources

Il est possible de définir un intervalle d'import afin que la source s'importe régulièrement.

Mode de mélange des sources

Option qui définit le mode de mélange entre les hôtes récupérés de cette source et les hôtes des autres sources ( voir la page Voir la configuration du module ( synchronizer-collector-vmware ) ).

Détecter les nouveaux éléments

Les éléments proposés par la source sont soumis au calcul des nouveautés ( Voir la page  Modules de Sources ( imports ) et de Taggers ( qualification ) ).

Calculer les différences

Détecter les éléments qui ne sont plus présents dans la source

Permet de proposer en suppression, les éléments qui ne sont plus présents dans la ou les source(s).

Choix de l'espace d'import des éléments

Mettre dans l'espace

Permet d'appliquer les différences et d'importer les nouveaux éléments de cette source directement dans l'espace "Staging" ou "Production", ou bien de les laisser dans l'espace de calcul des sources comme par défaut.

Utilisateur utilisé pour la sauvegarde des changements

Option qui permet de choisir l'utilisateur qui apparaîtra comme étant le dernier à avoir mis à jour les éléments.

Interval d'import et ordre de la source

Il est possible de définir un intervalle d'import afin que la source s'importe régulièrement.

Emplacement des fichiers de configuration

Afin de récupérer les éléments Shinken, contenus dans des fichiers .cfg, il faut spécifier un unique fichier de définition de la source qui contiendra la liste des chemins vers les fichiers à importer ( regarder le chapitre Configuration du fichier de définition des données de la source pour plus de détail ).

Clés de synchronisation ( sync_key )

...
    #======== Synchronization keys =========
    # The list of properties to be used as sync_keys in addition to the item name. Properties not managed by Shinken can be added here.
    # properties_used_as_synckey            address
...

Si le paramètre properties_used_as_synckey :

• N'est pas défini,
  • sa valeur par défaut est à address. Tout élément ayant la propriété address aura la valeur de cette propriété ajoutée dans les clés de synchronisation.
• Est vide,
  • aucune propriété ne sera ajoutée dans les clés de synchronisation.
• Est redéfini à display_name
  • seule la valeur de cette propriété sera ajoutée dans les clés de synchronisation.

  • Remarque : plusieurs propriétés peuvent être définies comme clef de synchronisation ( cela dépendra de vos besoins )

    Code Block
    properties_used_as_synckey host_name, display_name, address

Défini la liste des propriétés qui seront utilisées pour générer les clés de synchronisation.

Ajout des SE_UUID dans les

import_interval

Entier positif

Délai écoulé entre les imports automatiques de la source.
Si 0, l'import de la source ne sera jamais exécuté automatiquement. ( uniquement manuellement )

order

---

L'ordre de la source dans l'interface de configuration ( A un impact dans la fusion des données lors des imports de sources ).

Voir la page Le mélange des sources & les clés de synchronisation (sync-key) pour plus d'information au sujet des fusions. 

fichiers de configuration

Afin de récupérer les éléments Shinken, contenus dans des fichiers .cfg, il faut spécifier un unique fichier de définition de la source qui contiendra la liste des chemins vers les fichiers à importer. (Voir Importer ses propres fichiers CFG pour plus de détail)

Si un élément importé dans un des fichiers .cfg ne contient pas pas de SE_UUID, Shinken peut lui en générer un ou le chercher depuis les éléments existant dans staging. Il est alors possible de faire en sorte que cet SE_UUID soit retranscrit dans le fichier .cfg grâce à ce paramètres.

Propriétés non récupérées

cfg_path

Texte

Emplacement du fichier de définition de la source. Ce fichier servira à définir où sont les fichiers .cfg à importer.

...
    #======== Properties Synchronizationnot keysstored =========
    # The list of properties to be used as sync_keys in addition to the item name. Properties not managed by Shinken can be added here.====
    # properties_used_as_synckey            address
...

Si le paramètre properties_used_as_synckey :

Properties which can be defined in the items from the source but which Shinken will not import.
    # not_stored_properties
...

Il est possible de définir des propriétés que la source ne devra pas récupérer.

Dans le cas de cette source, il se peut que vous ne soyez pas l'auteur des fichiers cfg et que vous ne vouliez pas importer certaines propriétés

Remarque : plusieurs propriétés peuvent être définies comme clef de synchronisation ( cela dépendra de vos besoins )

properties_used_as_synckey host_name, display_name, address

Défini la liste des propriétés qui seront utilisées pour générer les clés de synchronisation.

.

Ajout des SE_UUID dans les fichiers de configuration

Si un élément importé dans un des fichiers .cfg ne contient pas pas de SE_UUID, Shinken peut lui en générer un ou le chercher depuis les éléments existant dans staging. Il est alors possible de faire en sorte que cet SE_UUID soit retranscrit dans le fichier .cfg grâce à ce paramètres.

Configuration du fichier de définition des données de la source

Le fichier de définition des données de la source est le fichier qui est désigné par le cfg_path dans la configuration de la source. Ce fichier doit être unique, mais il permet de définir plusieurs emplacements à importer.

Il présente trois paramètres :

Ces paramètres peuvent être cumulés afin de lire plusieurs répertoires ou plusieurs fichiers.

Voici un exemple de ce fichier de définition qui permet de lire les dossiers et fichiers suivants :

• elements_prod_Paris
• elements_prod_Marseille
• infratrucure_reseau 

Si d'autres dossiers ou fichiers sont présents dans le répertoire de données de la source, ils ne seront pas lus dans cet exemple.

cfg_dir=elements_prod_Paris
cfg_dir=elements_prod_Marseille
cfg_file=infratrucure_reseau 

Définition de Données globales

Les données globales peuvent être configurées dans /etc/shinken/resource.d/.

• Ce dossier contient des fichiers définissant des données globales pour différents sujets ( email, mysql, oracle, ... ) accessibles par vos objets globalement dans Shinken.
• Vous trouverez plus de détail sur l'utilisation des données globales dans le chapitre Les Variables ( Remplacement dynamique de contenu - Anciennement les Macros )

Pour une organisation plus facile et une configuration plus propre, les données globales peuvent également être configurées dans les sources.

• Le dossier d'exemple d'une source cfg est situé dans /etc/shinken-user/source-data/source-data-cfg-sample et contient un dossier global-data dans lequel les définitions des données globales peuvent être placées (un fichier échantillon est également présent dans ce dossier)
• Lorsque la source est importée, ces fichiers de données globales seront copiés dans /etc/shinken/resource.d/module-source_name

Ce mécanisme vous permet également de surcharger les valeurs définies dans /etc/shinken/resource.d avec des fichiers définis dans les sources.

Par contre, ces fichiers contenant des définitions de données globales ne sont pris en compte qu’après le rechargement du Synchronizer.

Propriétés non récupérées

Il est possible de définir des propriétés que la source ne devra pas récupérer.

Dans le cas de cette source, il se peut que vous ne soyez pas l'auteur des fichiers cfg et que vous ne vouliez pas importer certaines propriétés.