Page History

Le mélange des sources

Après la collecte des données, c’est l'étape du mélange des sources ( voir la page Modules de Sources ( imports ) et de Taggers ( qualification ) ).

• Le mélange des sources permet de créer un élément dont la définition est répartie entre plusieurs sources.

• Les clés de synchronisation permettent de choisir quelle définition va être fusionnée avec quelle autre définition.
  
  

• Règles de mélange :
  • Si une définition possède au moins une clé de synchronisation en commun avec une autre définition, alors ces deux définitions fusionnent.
  • Les éléments d'une même source possédant au moins une clé de synchronisation en commun doivent avoir toutes leurs clés de synchronisation identiques, sinon ces éléments seront en erreur.
    ( Exemple pour un hôte de la source cfg-file : même nom et mêmes adresses )
  • Les propriétés utilisées pour récupérer les clés de synchronisation dépendent du type de l'élément et de la source.

    • Les pages des sources listent les clés utilisées par défaut.

Pour chaque élément, le Synchronizer va :

1. Regarder si d'autres éléments ont des clés de synchronisation en commun avec lui
   1. Si oui, il va récupérer toutes les propriétés des éléments en question
2. Générer un nouvel élément
3. Donner à l'élément généré toutes les propriétés récupérées ainsi que celles de l'élément d'origine

L'élément généré est celui qui sera envoyé à l'étape suivante.

En cas de conflit entre des éléments ( deux sources importent le même élément, mais avec des informations différentes ), on compare les priorités des sources et on garde les informations de la source ayant la priorité la plus élevée.

members[FORCE]

Exemple d'un mélange de sources

Exemple avec 2 sources :

• Ma source d'import par fichier : source de type Collecteur de type cfg-file-import ( format Shinken ou nagios )
• Discovery : source de type Collecteur de type discovery-import ( Scan NMAP )

Les 2 sources ont leurs clés de synchronisation configurées par défaut, c’est-à-dire :

Pour les hôtes de la source "Ma source d'import par fichier" :

• host_name ( le nom de l'hôte )
• _SE_UUID
• address

Pour les hôtes de la source Discovery :

• host_name ( le nom de l'hôte )
• address

Les 2 sources donnent les définitions suivantes :

• Ma source d'import par fichier
  • _SE_UUID core-hosts-60f9373a47d511e8a3c1080027a3ae8c
  • host_name BDX - MySQL - 1
  • address 192.168.1.32
  • description Serveur du cluster MySQL du datacenter de Bordeaux
  • enabled 1
• Discovery
  • host_name BDX - MySQL - 1
  • address 192.168.1.32
  • description shinken.local - debian 13
  • use linux

Le résultat de leur mélange sera le suivant :

Lorsque la même propriété est définie dans plusieurs définitions, la valeur de l'hôte prise en compte sera celle de la source ayant le plus petit numéro d'ordre.

Dans l'exemple, on voit que la propriété commune ( description ) a pour valeur la première valeur définie ( " Serveur du cluster MySQL du datacenter de Bordeaux" ), car la source "Ma source d'import par fichier" a un ordre plus petit que la source "Discovery".

Les clés de synchronisation

Définition

La liste des clés de synchronisation permet de déterminer quels éléments, provenant de sources différentes, vont être mélangés ensemble.

Une clé de synchronisation peut être la valeur de n'importe quelle :

• propriété,
• ou donnée.

Le nom de l'élément et son _SE_UUID seront toujours utilisés comme clés de synchronisation si la source est capable de fournir ces propriétés.

Exemple de fonctionnement des clés de synchronisation

Sources permettant de choisir ses clés de synchronisation

Il est possible de choisir les clés de synchronisation pour les sources des types suivants :

• Synchronizer-collector-excel ( voir la page Voir la configuration du module ( synchronizer-collector-excel ) )
• Synchronizer-collector-vmware ( voir la page Voir la configuration du module ( synchronizer-collector-vmware ) )
• ldap-import ( voir la page Voir la configuration du module ( ldap-import : mode openldap ) )
• cfg-file-import ( uniquement pour les hôtes, voir la page Voir la configuration du module ( cfg-file-import ) )

Comment choisir ses clés de synchronisation

Quand la source permet de choisir ses clés de synchronisation, une clé de synchronisation peut être la valeur de n'importe quelle :

• propriété,
• ou donnée.

Il est conseillé d'utiliser des clés permettant de différencier les éléments : il faut éviter les clés qui ne retournent que peu de valeurs différentes ( comme les propriétés n'ayant pour valeurs possibles que "Vrai" ou "Faux" ).

Par exemple :

• La valeur de la propriété " enabled " ( "Activé" dans l'Interface de Configuration ) est une mauvaise clé de synchronisation.
• La valeur de la propriété "address" ( "Adresse" dans l'Interface de Configuration ) est une bonne clé de synchronisation pour un Hôte, car il est cohérent que deux hôtes ayant la même adresse ( IP ou DNS ) soient le même élément.

Pour trouver la clé d'import d'une propriété, il est possible de se rendre dans l'interface de configuration, de cliquer sur le bouton d'aide d'une propriété ( 1 ) :

Il suffit de copier la clé depuis l'interface ( 2 ) :

Cas du _SE_UUID

Parmi les clés de synchronisation d'un objet, le _SE_UUID est traité d'une manière différente.

Lorsqu'un élément possède un _SE_UUID dans sa définition, il est considéré comme unique dans le mécanisme d'import des sources, et il ne sera pas fusionné avec un élément ayant un _SE_UUID différent. Il peut par contre toujours être fusionné avec des éléments sans _SE_UUID ou avec d'autres éléments ayant le même _SE_UUID.

C'est utile dans le cas où l'on veut définir deux hôtes avec la même adresse par exemple. Le _SE_UUID permet de dire qu'il s'agit de deux hôtes distincts et ils ne seront pas fusionnés.

define host {

   # Shinken Enterprise. Lines added by import core. Do not remove it, it's used by Shinken Enterprise to update your objects if you re-import them.
      _SE_UUID             core-hosts-60f9373a47d511e8a3c1080027a3ae8c
      _SE_UUID_HASH        7883f1c2c623f7001d70c02503ce198d
   # End of Shinken Enterprise part

    host_name               Host 1
    address                 host_addr
}

define host {

   # Shinken Enterprise. Lines added by import core. Do not remove it, it's used by Shinken Enterprise to update your objects if you re-import them.
      _SE_UUID             core-hosts-6454ba8a47d511e897f8080027a3ae8c
      _SE_UUID_HASH        7b991a6b08e648842e1a7c7bc28ee140
   # End of Shinken Enterprise part


    host_name               Host 2
    address                 host_addr
    retry_interval          4
    check_running_timeout   4
}

Les 2 hôtes ne seront pas fusionnés à cause de la présence du _SE_UUID.

La donnée _SE_UUID_HASH permet simplement de vérifier que la donnée _SE_UUID a été générée correctement et n'a pas été corrompue par une faute de frappe d'un utilisateur en éditant son fichier.

À noter : elle n'a qu'une valeur informative pour l'auteur du fichier, le Synchronizer ne refusera pas l'objet si la valeur est vide ou incorrecte.

Un couple _SE_UUID / _SE_UUID_HASH a la forme suivante :

• type_element :
  • Le type de l'élément sur lequel on veut spécifier ce _SE_UUID.
  • Les différentes valeurs possibles sont les différents types définissables par fichier de configuration :
    • clusters
    • clustertpls
    • hosts
    • hosttpls
    • hostgroups
    • serviceshosts
    • serviceshosttpls
    • servicesclusters
    • servicesclustertpls
    • servicetpls
    • contacts
    • contacttpls
    • contactgroups
    • escalations
    • notificationways
    • commands
    • businessimpactmodulations
    • macromodulations
    • resultmodulations
    • timeperiods
• identifiant_uuid1_unique : Chaîne de caractères ( alphanumériques ) au format UUID1 permettant d'identifier de manière unique l'élément.
• hash_md5_du_se_uuid : Hash MD5 de la valeur du se_uuid
  
  • par exemple :

    • pour un hôte, en ayant généré un uuid1="60f9373a47d511e8a3c1080027a3ae8c"

      • on calcule donc se_uuid_hash = md5("core-hosts-60f9373a47d511e8a3c1080027a3ae8c") => "7883f1c2c623f7001d70c02503ce198d"

        Code Block
        language js theme Confluence
        _SE_UUID core-hosts-60f9373a47d511e8a3c1080027a3ae8c _SE_UUID_HASH 7883f1c2c623f7001d70c02503ce198d

Exemple de génération du couple _SE_UUID / _SE_UUID_HASH par code

L'UUID1 et le MD5 sont normés, et vont donc donner des résultats similaires suivant les langages utilisés. Par exemple en Python, on peut les générer de cette manière :

import uuid
import hashlib

# uuid1 generation as string
s_uuid = uuid.uuid1().hex

# generate se_uuid as string
se_uuid = u'core-hosts-%s' % s_uuid

# generate the se_uuid_hash as string, based on the se_uuid string
se_uuid_hash = hashlib.md5(se_uuid).hexdigest()

Voir les clés de synchronisation

Les clés de synchronisation sont visibles depuis l'onglet "Détail de la dernière exécution" dans les pages de gestion de la source.

Anchor
ModificationDuModeDeMélangeDesSources ModificationDuModeDeMélangeDesSources

Modification du mode de mélange des sources

Grâce au paramètre "Mode de mélange des sources" ( merge_mode dans le fichier de configuration de la source ), il est possible de modifier comment est gérée une source lors de l'étape du mélange des sources.

La valeur par défaut est : all

Les valeurs possibles sont :

dont_merge_with_other

only_with_syncui

all_except_syncui

all

Gestion des conflits lors du mélange

Lorsqu'une même propriété est présente dans plusieurs sources pour un même élément, le Synchronizer applique une règle de priorité stricte basée sur l'ordre des sources.

• La source avec l'ordre le plus petit (ex: 1) gagne face à une source avec un ordre plus grand (ex: 10).
• Si une propriété est marquée avec [FORCE], elle remplace toutes les autres valeurs, sauf si une autre source prioritaire utilise aussi [FORCE].

Cas particuliers : Éléments sans clé commune

Si un élément est importé par une source mais qu'aucune clé de synchronisation ne correspond à un élément existant, le Synchronizer créera un nouvel élément distinct dans l'étape suivante de la chaîne de traitement.