Page History

Contexte

Cette page a pour objectif de décrire la mise en place du pack proxmox-ve-by-API__shinken :

• Le déploiement du pack sur la plateforme (sur le Synchronizer et sur le ou les Pollers),

• La configuration des prérequis nécessaires à l’exécution des checks.

L'installation du pack sur l'infrastructure Shinken

Installation de dépendance : VENV__plugins-packs__shinken

En préambule, il faut :

1. Récupérer la dernière version du pack contenant le VENV auprès de l'équipe Shinken,
2. Transférer le pack sur le Synchronizer et le ou les Pollers.

L'installation de l'environnement virtuel s'effectue en deux étapes :

Récupérer l'archive tar.xz de l'environnement virtuel

Chaque pack requiert une version minimale de l'environnement virtuel pour fonctionner. Les versions sont rétrocompatibles. Il est donc recommandé de toujours utiliser la dernière version disponible de l'environnement virtuel.

Décompresser l'archive tar.xz de l'environnement virtuel sur tous les serveurs Shinken avec un poller ou synchronizer et lancer l'installation.

Décompresser l'archive sur les serveurs Shinken

tar -xJf VENV__plugins-packs__shinken__VXX.XX.XX__Linux-<distrib>.tar.xz

Rentrer dans le répertoire créé à la suite de la décompression, et exécuter le script d'installation.

cd VENV__plugins-packs__shinken__VXX.XX.XX__Linux-<distrib>
./install-venv.sh

Mise en place du pack avec l'installeur "install.sh" ( sur Poller / Synchronizer )

Commun à tout Poller / Synchronizer

Que ce soit sur un Synchronizer ou sur un Poller :

1. Désarchiver le pack :

   Code Block
   language text theme Emacs
   tar --no-same-owner -xf NOM_DU_PACK.tar.xz

2. Entrer dans le répertoire extrait de l'archive et lancer le "install.sh"

   Code Block
   language text theme Emacs
   cd NOM_DU_PACK/ ./install.sh

3. L'installeur dépose les éléments suivants :

   • Le fichier de configuration de la source "shinken-additional-packs-import" qui servira à importer la définition du pack dans le Synchronizer.
   • Les fichiers de définitions des éléments du pack, à importer dans le Synchronizer.
   • Les sondes du pack. 

Exemple de mise en place :

========================================================
PRE-INSTALLATION CHECKS
========================================================

No previous installation detected. Proceeding with installation...

========================================================
CHECKING PACK LIBRARIES:
========================================================
  - PYTHON VENV
  ~~~~~~~~~~~~~~~~~~
            => Location [/var/lib/shinken-user/libexec/shinken-additional-packs/.shinken__venv_plugin]

        => REQUIRED : 01.00.03
            - Currently installed Venv version : 01.00.03

            => NOTHING TO DO.


========================================================
INSTALL PACK [ proxmox-ve-by-API__shinken V01.00.00 ]
========================================================

    -----------------------------
    |   COLLECTOR [ shinken-additional-packs-import ]

        => Collector cfg file already AVAILABLE
              - Path : /etc/shinken/sources/shinken-additional-packs-import.cfg

        => Collector DATA space already AVAILABLE
              - Path : /etc/shinken-user/source-data/source-data-shinken-additional-packs-import

        => Definition File already AVAILABLE [ definition_shinken-additional-packs-import.cfg ]
              - Path : /etc/shinken-user/source-data/source-data-shinken-additional-packs-import/definition_shinken-additional-packs-import.cfg

        => Applying permissions
              - Path : /etc/shinken-user/source-data/source-data-shinken-additional-packs-import
              - Setting owner ( to "shinken" user )
              - Setting rights

    -----------------------------
    |   MONITORING DEFINITION:

        => Installing definitions file in source-data folder ( Collector => shinken-additional-packs-import )
              - Path : /etc/shinken-user/source-data/source-data-shinken-additional-packs-import
              - Setting owner ( to "shinken" user )
              - Setting rights

        => Installing global data definitions file in SHINKEN directory ( => resource.d )
              - Path : /etc/shinken/resource.d/shinken-additional-packs-import
              - Setting owner ( to "shinken" user )
              - Setting rights

    -----------------------------
    |   PROBES:

        => Installing probes
              - Path : /var/lib/shinken-user/libexec/shinken-additional-packs/proxmox-ve-by-API__shinken
              - Setting owner ( to "shinken" user )
              - Setting rights

========================================================   

Sur le Synchronizer

1. SEULEMENT si le collecteur "shinken-additional-packs-import" n'est pas déja PRÉSENTdéjà PRÉSENT dans votre Synchronizer ( par exemple : première fois que vous utilisez un installeur de pack Shinken ) :
   
   Vérifier dans la configuration de votre Synchronizer ( /etc/shinken/synchronizers/synchronizer-master.cfg ) que le collecteur "shinken-additional-packs-import" soit présent dans le champ sources.

   Code Block
   language text theme Emacs
   cat /etc/shinken/synchronizers/synchronizer-master.cfg

   Code Block
   language js theme Confluence
   define synchronizer { [...] sources Source 1, Source 2, Source 3, shinken-additional-packs-import [...] }

   Si le collecteur "shinken-additional-packs-import" n'est pas présent, l'ajouter dans la liste puis redémarrez le Synchronizer pour que le collecteur soit pris en compte :

   Section
   Code Block language text theme Emacs service-shinken-synchronizer restart Note icon false Pour les versions de Shinken strictement inférieures à V02.08.02-RC018.05, il faudra utiliser la commande suivante : Code Block language text theme Emacs service shinken-synchronizer restart

2. Activer le collecteur "shinken-additional-packs-import" si ce n'est pas déjà fait.
   
   

   Panel

3. Lancer l'import du collecteur "shinken-additional-packs-import" :
   
   

   Panel

   
   

   • En suivant, vous devrez peut-être accepter ou des nouveautés ou des différences qui seraient liées à ce pack ( en fonction de l'évolution du pack ).
     
     

4. IMPORTANT : si c'est la première fois que vous installez le pack, il est nécessaire de faire un dernier redémarrage du Synchronizer.

   Section
   Code Block language text theme Emacs service-shinken-synchronizer restart Note icon false Pour les versions de Shinken strictement inférieures à V02.08.02-RC018.05, il faudra utiliser la commande suivante : Code Block language text theme Emacs service shinken-synchronizer restart

Mise en place du pack manuellement ( si l'utilisation du script install.sh n’est pas souhaitée ) :

Commun à tout Poller / Synchronizer

Si le pack est déjà installé

Il est recommandé de supprimer les anciens dossiers contenant le pack afin de garantir l'utilisation de la dernière version des fichiers livrés.

Pour effectuer cette suppression ( si la procédure d'installation manuelle a été suivie telle quelle ), la commande suivante peut être utilisée :

rm -rf /var/lib/shinken-user/libexec/shinken-additional-packs/proxmox-ve-by-API__shinken
rm -rf /etc/shinken-user/source-data/source-data-shinken-additional-packs-import/packs/proxmox-ve-by-API__shinken
rm -rf /etc/shinken-user/source-data/source-data-shinken-additional-packs-import/global-data/proxmox-ve-by-API__shinken
rm -rf /etc/shinken/resource.d/shinken-additional-packs-import/global-data/proxmox-ve-by-API__shinken

Extraire le pack

Transférer le fichier du pack sur la machine et décompresser le fichier contenant le pack à l'aide de la ligne de commande ci-dessous (remplacer "PACK__shinken__NOM-DU-PACK__VERSION__OS.tar.gzxz" par le nom exact du pack livré) :

• Pour Linux ( le paramètre --no-same-owner permet de ne pas conserver les attributs d'utilisateurs/roles présent lors de la création du pack ) :

tar -xjfv --no-same-owner PACK__shinken__NOM-DU-PACK__VERSION__linux.tar.xz -C ./

• Pour Windows ( Rôle de Poller ) :

tar -xvzf PACK__shinken__NOM-DU-PACK__VERSION__windows.tar.gzxz -C ./

Entrer dans le répertoire créé :

cd NOM_DU_PACK/

Les sondes ( mises en place )

On place les sondes :

probe_path="/var/lib/shinken-user/libexec/shinken-additional-packs/proxmox-ve-by-API__shinken"
mkdir --parents $probe_path
cp -r ./probes/* $probe_path
chown -R shinken:shinken $probe_path
chmod -R 750 $probe_path

Sur le Synchronizer

Ensuite, il est nécessaire de placer les définitions des éléments de supervision du pack au bon endroit.

• Les fichiers de configuration :

  • • Il est recommandé de créer un collecteur de type cfg-file-import, qui permet d'importer des définitions d'éléments Shinken à partir des fichiers .cfg fournis dans le pack.

    • La procédure de mise en place de ce type de collecteur est disponible dans la documentation à la page  : ( Collecteur de type ( cfg-file-import ) - Import depuis des fichiers au format .cfg )

    • Dans la suite de cette documentation, ce collecteur sera nommé "shinken-additional-packs-import"

  • Une fois le collecteur mis en place, le pack peut être déployé à l’emplacement attendu :

    • En premier, les fichiers de définition des éléments ( modèles d'hôtes, checks, commandes, ... )  du pack :

      Code Block
      language text theme Emacs
      shinken_collector_data_path="/etc/shinken-user/source-data/source-data-shinken-additional-packs-import" cp -r ./monitoring-definitions/packs/* $shinken_collector_data_path chown -R shinken:shinken $shinken_collector_data_path chmod -R 744 $shinken_collector_data_path

    • Ensuite, les données globales

      Code Block
      language text theme Emacs
      shinken_pack_globaldata_path="/etc/shinken/resource.d/shinken-additional-packs-import" mkdir --parents $shinken_pack_globaldata_path cp -r "./monitoring-definitions/global-data" "$shinken_pack_globaldata_path" chown -R shinken:shinken "$shinken_pack_globaldata_path" chmod -R 744 "$shinken_pack_globaldata_path"

• Redémarrer le Synchronizer

  Section
  Code Block language text theme Emacs service-shinken-synchronizer restart Note icon false Pour les versions de shinken strictement inférieures à V02.08.02-RC018.05, il faudra utiliser la commande suivante : Code Block language text theme Emacs service shinken-synchronizer restart

• Activer le collecteur  "shinken-additional-packs-import" :

  Panel

• Lancer l'import du collecteur "shinken-additional-packs-import",

  Panel

  
  

  • En suivant, vous devrez peut-être accepter les nouveautés / différences qui seraient liés liées à ce pack ( en fonction de l'évolution du pack ).
    
    

• IMPORTANT : si c'est la première fois que vous installez le pack, il est nécessaire de faire un dernier redémarrage du Synchronizer.

  Section
  Code Block language text theme Emacs service-shinken-synchronizer restart Note icon false Pour les versions de Shinken strictement inférieures à V02.08.02-RC018.05, il faudra utiliser la commande suivante : Code Block language text theme Emacs service shinken-synchronizer restart

Le dossier extrait lors de la décompression du pack peut également être supprimé à l’aide de la commande suivante :

rm -rf ./PACK__proxmox-ve-by-API__shinken__V01.00.00__Linux

Si une version précédente du pack a déjà été installée, il est recommandé de supprimer les anciens dossiers pour éviter de conserver des fichiers obsolètes, notamment en cas de modification de la structure du pack.

Utiliser les commandes suivantes pour effectuer cette suppression :

rm -rf /var/lib/shinken-user/libexec/shinken-additional-packs/proxmox-ve-by-API__shinken
rm -rf /etc/shinken-user/source-data/source-data-shinken-additional-packs-import/packs/proxmox-ve-by-API__shinken
rm -rf /etc/shinken-user/source-data/source-data-shinken-additional-packs-import/global-data/proxmox-ve-by-API__shinken
rm -rf /etc/shinken/resource.d/shinken-additional-packs-import/global-data/proxmox-ve-by-API__shinken

Comment configurer la connexion API ?

Pour l'exécution correcte des commandes du pack proxmox-ve-by-API, vous aurez besoin d'une connexion SSHl'accès à l'API native de Proxmox est requis.

Quelques informations au préalable sont nécessaires pour la bonne compréhension de cette partie.

• D'une part, du côté de l'architecture Shinken, l'exécution des checks ( plus exactement les sondes) est réalisée  par les Pollers, en tant qu'utilisateur "shinken".
  • Les pollers Shinken seront la source des appels HTTP/HTTPS
• D'autre part, du côté du cluster Proxmox supervisé,
  • Pour accéder à l'API, un nom d'utilisateur et un token API sont requis.
  • Dans les modèles du pack proxmox-ve-by-API, des données sont prévues à cet effet.

Nous conseillons fortement l'utilisation d'un utilisateur spécifique ( pour le service de supervision ) à droit restreint pour effectuer les vérifications, afin d'éviter les bréches brèches de sécurité.

Côté client ( Proxmox supervisé )

Pour créer tous les éléments nécessaires à la supervision Proxmox, il faut, directement depuis l'interface de configuration Proxmox :

• Créer un nouvel utilisateur
• Créer une nouvelle clé API ( liée à l'utilisateur créé )
• Ajouter le rôle "PVEAuditor" au nouvel utilisateur pour permettre la supervision.

Dans cet exemple, le nom d'utilisateur utilisé sera "shinken" et le nom de la clé sera "SUP-SHINKEN".

Création de l'utilisateur

Sur l'interface de configuration, se rendre dans "Datacenter" puis dans "Users" :

Dans le menu "Users", créer un nouvel utilisateur avec le bouton "Add" ( indiquer uniquement un nom d'utilisateur et valider ) :

À ce stade, l'utilisateur de supervision "shinken" a bien été créé.

Création de la clé API

Sur l'interface de configuration, se rendre dans "Datacenter" puis dans "API Tokens" :

Dans le menu "API Tokens", créer une nouvelle clé avec le bouton "Add" ( indiquer uniquement un nom à la clé et valider ) :

À ce stade, la clé API "SUP-SHINKEN" a bien été créée.

Gestion des droits d'accès aux ressources

Sur l'interface de configuration, se rendre dans "Datacenter" puis dans "Permissions" :

Dans le menu "Permission", créer une première règle avec le bouton "Add" en sélectionnant "User Permission" et indiquer :

• Path : /
• User : shinken@pam
• Role : PVEAuditor

Dans le menu "Permission", créer une seconde règle avec le bouton "Add" en sélectionnant "API Token Permission" et indiquer :

• Path : /
• User : shinken@pam!PVESUP-SHKSHINKEN
• Role : PVEAuditor

A À ce stade, la configuration des permission permissions est terminée.

La configuration sur l'interface de configuration Proxmox est terminéterminée. Le noeud nœud est prêt à être supervisé.

Côté

Copie de la clé SSH de votre utilisateur de supervision "shinken" depuis le serveur Poller "shinken-poller" ( pour cet exemple ), vers le serveur supervisé "linux-1" ( dans cet exemple, IP : 192.168.1.19 ) 

Copie clé SSH via commande ssh-copy-id

Soit via la méthode "automatique" via la commande ssh-copy-id en se connectant au préalable via l'utilisateur shinken sur le ou les serveurs pollers :

[root@shinken-poller ~]# su - shinken
[shinken@shinken-poller ~]#  ssh-copy-id -i ~/.ssh/id_rsa.pub user-service-shinken@linux-1
The authenticity of host '192.168.1.19 (192.168.1.19)' can't be established.
RSA key fingerprint is 00:ff:ee:dd:cc:bb:aa:d6:d3:79:1d:f6:93:47:80:27.
Are you sure you want to continue connecting (yes/no)? yes
user-service-shinken@linux-1's password: XXXXXXXXXXX
Now try logging into the machine, with "ssh 'user-service-shinken@linux-1'", and check in:
  .ssh/authorized_keys
to make sure we haven't added extra keys that you weren't expecting.

Copie clé SSH via commande ssh

Soit via une commande SSH depuis le serveur Poller, il s'agit d'ajouter la clé publique au fichier "authorized_keys" du serveur supervisé ( ici linux-1 ) :

cat /var/lib/shinken/.ssh/id_rsa.pub | ssh root@linux-1 "cat >> /home/user-service-shinken/.ssh/authorized_keys"

Ici la connexion se fait via l'utilisateur root du serveur linux-1 ( mais vous pouvez utiliser votre propre utilisateur ), le but étant de rajouter, en une commande SSH, la clé de l'utilisateur shinken du Poller /var/lib/shinken/.ssh/id_rsa.pub à la fin du fichier /home/user-service-shinken/.ssh/authorized_keys du serveur supervisé.

Copie clé SSH manuellement

Soit via méthode "manuelle" via rajout de la clé dans le fichier authorized_keys

• Récupérez la clé publique de l'utilisateur qui va établir la connexion SSH, et la copier

  Code Block
  language text theme Emacs
  [root@shinken-poller ~]# su - shinken [-bash-4.1]$ cat .ssh/id_rsa.pub -> copiez la clé

• Connectez-vous sur le serveur linux supervisé avec votre utilisateur de supervision et collez cette clé dans le fichier "authorized_keys" de l'utilisateur de supervision :

  Code Block
  language text theme Emacs
  [root@linux-1 ~]# su - user-service-shinken [-bash-4.1]$ vi .ssh/authorized_keys -> collez la clé

Test de connexion

Test de connexion au serveur "linux-1" en tant qu'utilisateur "user-service-shinken" via l'utilisateur du Poller ( shinken ) :

[root@shinken-poller ~]# su - shinken
[shinken@shinken-poller ~]# ssh user-service-shinken@linux-1 -i .ssh/id_rsa

La connexion doit s'établir avec succès.

Problème de connexion : regarder dans les logs

interface de configuration

Modèle d'hôtes proxmox-ve-by-API__base__shinken

Côté interface de configuration

Modèle d'hôtes docker-on-linux-by-SSH__base__shinken

Désinstaller le pack avec "uninstall.sh"

Entrée Entrer dans le répertoire extrait de l'archive et lancer le "uninstall.sh"

cd docker-on-linuxPACK__proxmox-ve-by-SSHAPI__shinken__V01.00.00__Linux && ./uninstall.sh

Ce mécanisme va seulement enlever les fichiers mis en place lors de l'installation ( Fichier du collecteur d'import, définition des éléments de supervision, et les sondes proposées ), mais ne touchent touche pas aux éléments que vous avez absorbés dans le Synchronizer.

==========================================================
UNINSTALL PACK [ dockerproxmox-onve-linux-by-SSHAPI__shinken V01.00.00 ]
==========================================================

    -----------------------------
    |   MONITORING DEFINITION:

        => Deleting pack monitoring definition folder
              - Path : /etc/shinken-user/source-data/source-data-shinken-additional-packs-import/packs/dockerproxmox-onve-linux-by-SSHAPI__shinken

        => Deleting pack monitoring definition file
              - Path : /etc/shinken-user/source-data/source-data-shinken-additional-packs-import/packs/dockerproxmox-onve-linux-by-SSHAPI__shinken.pack

        => Deleting pack monitoring globaldata folder
              - Path : /etc/shinken-user/source-data/source-data-shinken-additional-packs-import/global-data/dockerproxmox-onve-linux-by-SSHAPI__shinken

        => Deleting shinken pack globaldata folder
              - Path : /etc/shinken/resource.d/shinken-additional-packs-import/global-data/dockerproxmox-on-linuxve-by-SSHAPI__shinken/


    -----------------------------
    |   PROBES:

        => Deleting probes
              - Path : /var/lib/shinken-user/libexec/shinken-additional-packs/dockerproxmox-on-linuxve-by-SSHAPI__shinken


==========================================================
PACK [ dockerproxmox-onve-linux-by-SSHAPI__shinken V01.00.00 ] SUCCESSFULLY UNINSTALLED
==========================================================