Utilité des sources

Les sources permettent de récupérer des informations via des ressources externes et de transformer ces informations en éléments shinken. Elles sont personnalisables et programmables enfin de pouvoir automatiser l'import de nouveaux éléments de différentes façons. Il existe trois types de sources dans shinken :

  • Les analyseurs permettent de récupérer des informations d'un hôte en exécutant des scripts d'analyses sur ceux-ci.
  • Les écouteurs permettent de créer des hôtes avec des requêtes HTTP via une API.
  • Les collecteurs récupèrent et créent des éléments de différentes façons (vmware, ldap, par découverte réseaux ou bien par fichier cfg).

Fonctionnement des sources


Explication de l'import


Merges des sources

Lorsqu'un import est effectué par une source, les données chargées par celle-ci vont générées des éléments dans Shinken (hôtes, check, cluster, etc...). Quand un élément est créé, le synchronizer cherche à vérifier parmi tous les éléments des dernières importations de chaque source active, deux éléments qui ont une clé de synchronisation commune.

Si c'est le cas, il va fusionner tous les éléments qui ont la même clé de synchronisations pour n'en former qu'un seul. Si plusieurs éléments avec la même clé de synchronisation ont des champs en commun, l'élément final prendra la valeur de l'élément venant de la source avec l'ordre le plus proche de 1. Dans le cas où un champ est présent sur un seul élément mais pas sur les autres, le champ apparaîtra sur l'élément final quel que soit l'ordre de la source dont il provient (cf: voir l'exemple ci-dessous) 

Lorsque des sources importent des éléments, ceux-ci sont fusionnés s'ils possèdent au moins une clé de synchronisation commune.

Les clés de synchronisation utilisées dépendent du type de l'élément:

  • Hôtes: Nom, adresse, SE_UUID (Identifiant unique pouvant être défini dans les fichiers de configuration)
  • Checks: SE_UUID
  • Autres: Nom de l'élément, SE_UUID


Exemple: Deux hôtes avec la même adresse seront regroupés par le mécanisme d'import des sources en un seul hôte :

define host {
    host_name          Hote 1
    address            localhost
    propriété_commune  valeur1
    propriété1         valeur1
}


define host {
    host_name          Hote 2
    address            localhost
    propriété_commune  valeur2
    propriété2         valeur2
}

Résultat de la fusion des 2 hôtes, le premier hôte vient de la source avec l'ordre le plus bas:

define host {
    host_name          Hote 1
    address            localhost
    propriété_commune  valeur1
    propriété1         valeur1
    propriété2         valeur2
}


Le résultat est comparé à la base de Staging. Si l'élément existe en Staging, celui-ci apparaîtra en statut "Différence", dans le cas contraire il apparaîtra en "Nouveau". Les éléments avec le statut Nouveau seront prêts à être importés dans Staging ou dans la "Zone de travail" pour les hôtes. 


Mise à jour de Staging

Les éléments avec le statut "Nouveau" et "Différence" sont affichés dans les "Liste des éléments". Il est possible de les filtrer pour n'afficher que ces objets.

Dans la page principale, les compteurs sont des raccourcis pour afficher ces listes déjà filtrées.




Les éléments avec le statut "Nouveau" sont affichés tels qu'ils vont être importés dans Staging, dans la liste des éléments et dans la page d'édition d'un élément.

Les éléments avec le statut "Différence" sont affichés tels qu'ils sont dans Staging, mais avec la liste des valeurs qui seront modifiés par application des différences. Ces modifications apparaissent au survol du label vert de Différence dans la liste des éléments, ou dans l'onglet de différence des objets dans la page d'édition d'un éléments.



Importer les nouveaux éléments


Il y a deux manières différentes pour import un nouvel élément.

Si vous souhaitez appliquer les différences un ou plusieurs éléments en Staging ou Zone de travail, il faut :

  • Aller dans la liste du type de l'élément ou bien dans la liste de "Tous les éléments"
  • Puis sélectionner les éléments avec le statut  "Nouveau"
  • Enfin sélectionner l'Action de masse adéquate, c'est-à-dire "Importer d'une source

Dans le cas où vous souhaitez importer sur un élément en particulier, vous pouvez:

  • Aller dans la page d'édition de l'élément
  • Vérifier toutes les propriétés
  • Import l'élément en cliquant sur le bouton 



Appliquer les différences

Comme pour l'import, appliquer les différences peut se faire deux manières différentes.

Si vous souhaitez appliquer les différences un ou plusieurs éléments en Staging, il faut :

  • Aller dans la liste du type de l'élément ou bien dans la liste de "Tous les éléments"
  • Puis sélectionner les éléments avec le statut  "Différence"
  • Enfin sélectionner l'Action de masse adéquate, c'est-à-dire "Appliquer les différences des sources".

Dans le cas où vous souhaitez appliquer les différences sur un élément en particulier, vous pouvez:

  • Aller dans la page d'édition de l'élément
  • Vérifier les propriétés modifiées dans l'onglet "Différences" 
  • Appliquer les différences en cliquant sur le bouton




Rappel: la modification d'un hôte ne peut se faire que dans la "Zone de travail", ce qui veut dire que l'import et l'application des différences doivent se faire dans cette partie.


Comment faire un import

Pour obtenir des éléments d'une source configurée, fonctionnelle et activée, un import peut être nécessaire. 
Il existe 2 moyens pour cela :

  • Un import peut s'effectuer à intervalles réguliers. Cet intervalle est défini dans le fichier de configuration de votre source.
    Vous pouvez savoir quand le prochain import aura lieu en allant dans la zone des modules de détection et qualification, en face de votre source sous la colonne "Prochain import" vous pouvez voir le temps restant avant le prochain import.




  • Vous pouvez forcer un import si l'import à intervalles réguliers n'est pas activé ou si vous voulez faire un import sans devoir attendre le prochain.
    Pour cela aller dans la zone des modules de détection et cliquez sur la flèche en face de votre source, sous la colonne "Forcer l'import". La source doit être activée.




L'autre moyen pour forcer l'import est:

  • De vous rendre sur la page de votre source en cliquant sur le nom de la source
  • Puis cliquez sur la flèche en haut à droite de la page.




État de la source et résumé du dernier import 

États des sources

Chaque source activée possède un état qui peut être vu à trois endroits :

  • Sur la page principale, dans la colonne "État" de chaque source
  • Sur la page de la source à droite du nom
  • Sur la page de la source, dans l'onglet des résumés des dernières exécutions


Cet état correspond à celui du dernier import. Il est mis à jour pendant l'import (Import en cours, Calcul des différences), après l'import (Ok, Avertissement, Erreur) ou dynamiquement (Non configuré, Prêt à être importé).  

Voici la liste complète des statuts d'une source et leur signification :

StatutDescription

Les éléments ont été importés, la source fonctionne correctement

Les éléments ont été partiellement importés à cause d'une erreur mais la source fonctionne

Les éléments n'ont pas été importés, la source ne fonctionne pas 

La source ne possède pas de configuration

La source vient d'être créée, elle n'a jamais importé d'éléments

Des paramètres de la sources ont été changé, un import peut être utile pour recevoir de nouveaux éléments

Import des éléments en cours

Calculs en cours pour la fusion des sources juste après l'import


Résumé du dernier import

A chaque fois qu'un import est effectué, un message contenant le résultat de cet import est disponible. Il permet d'obtenir plus d'informations supplémentaires sur le statut de la source.
Un résumé court est disponible :

  • Dans la page principale dans la colonne "Résumé" de chaque source
  • Dans la page de la source à coté du nom
  • Dans le Résumé des dernières exécutions


Lorsqu’un import d'un collecteur est effectué ou bien qu’une exécution d'un écouteur ou d'un analyseur est lancée, son rapport est stocké dans l'onglet "résumé des dernières exécutions" vous permettant d’avoir un récapitulatif détaillé. 


Cet onglet est accessible de deux manières différentes:

  • Depuis la page de la source en cliquant sur l’onglet concerné 
  • Depuis la page principale en cliquant sur le lien à côté du résultat 







Lorsque vous arrivez sur l’onglet, le résumé de la dernière exécution est affiché. Pour voir le résumé d’une autre exécution, il suffit de cliquer sur la ligne correspondant à sa date (1)
Votre résumé sera composé d’un maximum de 6 sections, les erreurs et avertissements sont présent qu'en cas de problème :

  • Le résultat (2) 
  • Les erreurs liées à la source (3) 
  • Les erreurs liées au mélange des sources (3) 
  • Les avertissements liés à la source (3) 
  • Les avertissements liés aux mélanges des sources (3)
  • Les éléments ajoutés/modifiés suite à l’import/exécution (4) 







Éléments du dernier import

Après un import, les éléments importés peuvent être dans trois l'état différents.

Le statut OK signifie que l'élément a été correctement.

Le statut "Attention" signifie que l'élément a bien été importé mais qu'il est incomplet (champs manquants ou dans un mauvais format par exemple). Un élément avec ce statut risque de ne pas pouvoir être importés en production.

Les éléments en "Erreur" ne se sont tout simplement pas importé, car ils contiennent une erreur rendant impossible leur import.


Ces statuts sont affichés dans la page principale, dans la colonne "Éléments" de chaque source. Chaque statut est associé à une couleur (Vert pour OK, orange pour Attention et rouge pour Erreur) et au nombre d'élément dans ce statut.

Par exemple: une source avec 7/1/2 signifie que 7 éléments ont bien importé en état "OK", un élément a été importés avec des propriétés incomplètes et deux éléments en état "erreur" n'ont pas pu être importés.


Cliquer sur une des trois couleurs permet de se rendre directement dans l'onglet "Détails du dernier lancement" sur la page de la source avec la liste des éléments filtrés avec statut choisi. 



Une fois redirigé sur la page on peut voir le filtre sur page statut en (1).

Pour avoir plus d'informations sur un élément importé, cliquez sur l'œil (2) à droite de votre élément pour déplier ses informations supplémentaires.

Sous la liste des propriétés importées sur l'élément, vous pouvez voir (3) une explication de l'avertissement ou de l'erreur si l'élément n'est pas en statut "OK".  



Utilisation des sources

Exemple d'utilisation avec la discovery

Dans cet exemple, nous allons suivre comment utiliser la source discovery pour importer des éléments grâce à une plage d'adresses IP.


Pour commencer, il faut activer la source discovery pour qu'elle puisse importer des éléments une fois configurés.



Pour configurer la source, il faut se rendre sur la page de la discovery. Pour ça, il suffit de cliquer sur son nom.



Pour pouvoir trouver des éléments grâce à cette source, il faut ajouter des plages IP qui vont être scanner par la suite. Il faut donc se rendre dans l'onglet "Listes de plages réseaux définies". 



Une fois rendu dans cet onglet, il faut ajouter notre plage IP en cliquant sur le bouton "Ajouter" en haut à droite de la page.



Il faut maintenant rentrer les informations nécessaire enfin de trouver les éléments voulus. On va chercher dans cet exemple la machine qui se trouve sur l'adresse IP 172.16.0.7 .



On a maintenant le choix d'attendre le prochain import (s'il a était défini dans le fichier de configuration de la source discovery) ou bien de forcer l'import directement en appuyant sur la flèche en haut de l'écran.



Le résumé du résultat de cet import est disponible dans l'onglet "Résumé des dernières exécutions". Le dernier import effectué est directement visible en arrivant dans la page. On peut voir qu'il c'est bien effectué et qu'un hôte à bien été importé.

En cliquant sur un type dans le tableaux "Résultat d'exécution", on va être redirigé dans l'onglet "Détails du dernier lancement".  



L'onglet "Détails du dernier lancement" permet d'avoir plus de détails sur les éléments importés. Le clic sur le type "hosts" lors de l'étape précédente a appliqué un filtre qui permet de nous montrer uniquement que les hôtes lors du dernier import.

On peut aussi accéder à cet onglet en cliquant sur celui-ci, aucun filtre ne sera donc appliqué.

Comme nous l'avons vu précédemment le clic sur l’œil à droite de chaque éléments importés permet d'afficher plus de détails sur l'élément.