Page History

Introduction

La base de métrologie de Shinken peut être fortement sollicitée sur des architectures supervisant un grand nombre d'éléments. Sa disponibilité est également importante puisqu'elle peut être source de données pour des outils externes à Shinken ( Grafana par exemple ) pouvant être mis à disposition des utilisateurs.

L'objectif de cette page de documentation est

de

détailler la procédure

pour la mise en place d'un cluster Graphite.

Ce qui permettra d'augmenter la disponibilité des données et d'éviter la perte de données en cas d'incident sur la machine stockant les métriques.

Architecture mise en place

Procédure de configuration

Avant de commencer, voici un résumé des différentes étapes nécessaires pour la configuration du cluster Graphite:

• Installation de Shinken
• Installation et configuration de Keepalived
• Mise en place du démon carbon-relay
• Autorisation des connexions à Graphite
• Modification de la configuration Shinken pour l'utilisation du cluster Graphite
• Redémarrage de Graphite et Shinken

Installation de Shinken

La première étape dans la mise en place d'un cluster Graphite est bien entendu l'installation de Graphite. Comme les autres dépendances de Shinken, il faut que la version de Graphite installée soit celle fournie avec l'installeur Shinken. En effet, certaines modifications ont été faites sur Graphite pour l'intégration avec Shinken, ce qui rend incompatible les versions de Graphites Graphite qui auraient pu être installées auparavant via d'autres installeurs.

Sur chaque machine qui compose le cluster Graphite, il faudra alors procéder à une installation de Shinken.

La procédure d'installation de Shinken est décrite dans la une page de documentation dédiée : ( voir la page Guide d'installation et de mise à jour ).

Installation et configuration de Keepalived

Sur chaque carbon-relaymachine constituant le cluster Graphite

Installer Keepalived et ses dépendances sur tous les serveurs qui vont composer le cluster::

RHEL / CentOS 7 ou RHEL / Alma / Rocky 8 ou RHEL / Alma / Rocky 9

• • Code Block
    language text theme

• • Emacs

    yum install keepalived

Debian 13

• • Code Block
    language text theme Emacs
    apt install keepalived

Éditer

le fichier de configuration de Keepalived

! Configuration File for keepalived

vrrp_instance NOM_DU_SERVEUR {
# Priorité utilisée lors de l'élection d'un nouveau maître. C'est la priorité la plus élevée qui gagne l'élection
  priority 150
# ID du routeur virtuel. Doit être unique sur l'ensemble des noeuds
  virtual_router_id 255
# Option qui a pour conséquence qu’un master qui renaît ne reprendra pas l’IP si son SLAVE l’a
  nopreempt
# Interface d'écoute et d'échange des paquets multicast VRRP
  interface enp0s3
# L'état de santé des cibles est vérifié toutes les 5 secondes
  advert_int 5
# Interface réseau commune aux membres
  virtual_ipaddress {
        XXX.XXX.XXX.XXX/XX brd XXX.XXX.XXX.XXX dev enp0s3 scope global
  }
}

ATTENTION à modifier les informations suivantes :

• vrrp_instance NOM_DU_SERVEUR : Le nom du serveurassocié à l'adresse virtuelle
• priority 150 : 150 pour le serveur principal et une valeur inférieur pour les secondaires
• interface enp0s3  : Le nom de l'interface réseau principale du serveur ( commande "ip addr" ou "ifconfig" )
• virtual_ipaddress XXX.XXX.XXX.XXX/XX :
  • En 1^er l'adresse virtuelle qui va être créée.
  • En 2^ème le masque de sous réseau.
  • En 3^ème l'adresse de broadcast du sous-réseau ( se termine en général par 255 ).
  • En 4^ème le nom de l'interface réseau du serveur.

Exemple d'un configuration avec 1 serveur principal et 1 serveur secondaire

Redémarrer Keepalived sur tous les serveurs du cluster en commençant par la le maître :

# Sur CentOS 6
service keepalived restart
# Sur CentOS 7
systemctl restart systemctl restart keepalived

Ainsi la commande "ip addr" sur le serveur maître devrait vous renvoyer l'ip courante ip  du serveur et l'ip virtuelle précédemment créée :

Mise en place du démon carbon-relay

Sur tous les serveurs constituant le cluster Graphite : 

Une fois Shinken, Graphite et Keepalived installés, il faut procéder à la configuration de Graphite.

On commence par dire à Graphite qu'on utilise la fonctionnalité de relay relais via le fichier /opt/graphite/conf/carbonrelay-rules.conf ( copier le fichier d'exemple carbon relay-rules.conf.example si besoin ).

Sur chaque carbon-relay

Dans la section "[relay]", on modifie la variable "DESTINATIONS" dans laquelle on décrit la liste des démons carbon-relay qui constituent le cluster Graphite.

On configure le relais en précisant les adresses des serveurs hébergeant les démons carbon-cache ( pour l'écriture et la lecture des métriques ).

[relaydefault]
...
<autres options>
...


DESTINATIONSdefault = true
destinations = adresse_carbon_cache_1:2004,adresse_carbon_cache_2:2004
read_destinations = adresse_carbon_cache_1:80,adresse_carbon_cache_2:200480

On configure ensuite le démon carbon-relay pour lui spécifier les adresses préciser la liste des carbon-cache pour l'écriture et les adresses à utiliser pour la lecture des métriques.

Sur chaque carbon-relay

constituant le cluster.

Pour cela éditer Cette configuration se fait via le fichier /opt/graphite/conf/relay-rulescarbon.conf  ( copier le fichier d'exemple relay-rulesexemple carbon.conf.example si besoin ):.

Dans la section "[relay]", on modifie la variable "DESTINATIONS" dans laquelle on décrit la liste des démons carbon-cache qui constituent le cluster Graphite.

[relay]
...
<autres options>
...


DESTINATIONS = 

[default]
default = true
destinations = adresse_carbon_cache_1:2004,adresse_carbon_cache_2:2004
read_destinations = adresse_carbon_cache_1:802004, adresse_carbon_cache_2:802004

Par défaut, l'installeur Shinken ne met pas en place de fichier d'init un fichier de démarrage pour le démon carbon-relay sans les droits d'exécution. Pour pouvoir le démarrer permettre un démarrage en tant que service du système comme les autres démons, il va falloir mettre en place ce fichier.

Pour cela,

, il faut ajouter le droit d'exécution.
Sur la machine qui va héberger le démon carbon-relay,  lancer la commande suivante :  

chmod +x /etc/init.d/carbon-relay

A la fin de cette étape de À ce stade de la configuration, le relais est correctement configuré en ce qui concerne l'écriture des données. Pour

Il faut maintenant permettre la lecture des métriques, il faut encore autoriser la lecture des métriques, ce qui est l'objectif de l'étape suivante..

Autorisation des connexions à Graphite

Par défaut, Graphite n' autorise la lecture des métriques seulement depuis une l'interface locale ( 127.0.0.1 ), pour des raisons de sécurité. Il faut alors sur chaque machine qui héberge un démon carbon-relay,

Pour le fonctionnement en cluster, il faut modifier les réglages d'Apache pour autoriser la lecture sur des machines externes.depuis le réseau.

RHEL / CentOS 7 ou RHEL / Alma / Rocky 8 ou RHEL / Alma / Rocky 9

Sur chaque serveur constituant le cluster Graphite, Sur chaque carbon-relay, on trouve dans le fichier /etc/httpd/conf.d/graphite.confon trouve la ligne suivante:

  <VirtualHost 127.0.0.1:80>

 Cette ligne permet de dire Cette directive indique à Apache qu'il faut écouter les requêtes de lecture des métriques sur l'interface locale ( 127.0.0.1 ) et le port 80 seulement.

Pour écouter ces requêtes sur toutes les interfaces réseau de la machine, on la remplacera cette ligne par la suivante :

  <VirtualHost *:80>

On redémarre ensuite Apache pour prendre en compte les modifications :

# Sur CentOS 6
service httpd restart
# Sur CentOS 7
systemctl restart httpd

Modification de la configuration Shinken pour l'utilisation du cluster Graphite

Debian 13

Sur chaque serveur constituant le cluster Graphite, dans le fichier /etc/apache2/sites-available/graphite.conf on trouve la ligne suivante:

  <VirtualHost 127.0.0.1:80>

Cette directive indique à Apache qu'il faut écouter les requêtes de lecture des métriques sur l'interface locale ( 127.0.0.1 ) et le port 80 seulement.

Pour écouter ces requêtes sur toutes les interfaces réseau de la machine, on la remplacera par :

  <VirtualHost *:80>

On redémarre ensuite Apache pour prendre en compte les modifications :

systemctl restart apache2

Modification de la configuration Shinken pour l'utilisation du cluster Graphite

Écriture des métriques

L'envoi des métriques à Graphite est géré par le module Graphite-Perfdata du Broker.

Pour que les métriques soient envoyées au relais sur l'IP virtuelle plutôt qu'au démon carbon-cache, il faut modifier la configuration du module Graphite-Perfdata ( fichier /etc/shinken/modules/graphite.cfg ) :

    # ────────────  Metrology server parameters  ──────────────────────────────────────────────────────────── #

    # ─── Graphite writer ( carbon ) address                                                                ───
    # ─── IP address or FQDN of carbon-cache or carbon-relay instance to send metrics to                    ───
    #                                                                                                       ───
    #           Default : localhost                                                                         ───
    #                                                                                                       ───
    broker__module_graphite_perfdata__writer__host      addresse_ip_virtuelle

    # ─── Graphite writer ( carbon ) port                                                                   ───
    # ─── tcp port of carbon-cache or carbon-relay instance to send metrics to                              ───
    #                                                                                                       ───
    #           Default : 2003                                                                              ───
    #                                                                                                       ───
    broker__module_graphite_perfdata__writer__port      2013 

On change ici

• l'adresse du serveur destinataire des métriques à écrire par l'IP virtuelle configurée avec keepalived,
• le port 2003 ( port par défaut du carbon-cache ) vers le port 2013 ( port par défaut du carbon-relay ).

Lecture des métriques

Il faut également préciser à Shinken de passer par l'adresse IP virtuelle pour la lecture des métriques.

Cette modification se fait dans les paramètres du module WebUI, responsable de l'interface de Visualisation. Dans /etc/shinken/modules/webui.cfg, on modifie la section suivante :

[...]


#======== Metrology access ========= 
# Multi-realm graphite parameter     
graphite_backends        *:addresse_ip_virtuelle


[...]

Redémarrage de Graphite et Shinken

Les configurations de Graphite et de Shinken ayant été modifiées pour utiliser le cluster, il faut maintenant redémarrer les différents démons pour appliquer ces changements.

• On commence par démarrer le démon carbon-relay sur chaque machine constituant le cluster Graphite :

  Code Block
  language text theme Emacs
  service carbon-relay start

• On fait en sorte que ce démon soit relancé au démarrage des serveurs ( sur chaque machine constituant le cluster Graphite ) :

  Code Block
  language text theme Emacs
  systemctl enable carbon-relay

• On redémarre le démon carbon-cache sur tous les serveurs composants le cluster:

  Code Block
  language text theme Emacs
  service carbon-cache restart

• Enfin, on redémarre l'Arbiter pour prendre en compte les modifications de configuration de Shinken:

  Excerpt Include
  Fichier de configuration ( shinken.cfg ) Fichier de configuration ( shinken.cfg ) page DefaultLink[destination=Optional[PageResourceIdentifier[spaceKey=<null>,title=Fichier de configuration ( shinken.cfg )]],body=Optional.empty,tooltip=Optional.empty,anchor=Optional.empty,target=Optional.empty] nopanel true

Vérification du firewall ( est-ce que l'accès à carbon-cache / carbon-relay est disponible )

En cas de problème de connexion aux démons carbon-cache / carbon-relay vérifier que le port est ouvert dans le firewall.

Liste des ports utilisés par Graphite

La liste des ports utilisés par Graphite est la suivante :

Si firewalld est présent ( firewall activé par défaut sur RHEL / Alma / Rocky 8 et RHEL / Alma / Rocky 9 )

Vérifier que les ports de Graphite sont ouverts

Voici comment vérifier que les ports des démons carbon-relay / carbon-cache sont ouverts sur leurs machines respectives : 

firewall-cmd --list-ports

80/tcp 7763/tcp 7765/tcp 7766/tcp 7767/tcp 7768/tcp 7769/tcp 7770/tcp 7771/tcp 7772/tcp 7773/tcp 7777/tcp 7780/tcp 50000/tcp

Dans cet exemple, aucun des ports de carbon-relay ( 2013/tcp ) et de carbon-cache ( 2004/tcp ) ne sont présents, ils sont donc bloqués.

Autoriser le trafic vers les ports de Graphite

Sur tous les serveurs constituant le cluster : 

Si le port du démon carbon-relay n'est pas ouvert, pour autoriser le trafic vers ce port, utiliser les commandes suivantes :

firewall-cmd --add-port=2013/tcp
firewall-cmd --runtime-to-permanent

Si le port du carbon-cache n'est pas ouvert, pour autoriser le trafic vers ce port, utiliser les commandes suivantes :

firewall-cmd --add-port=2004/tcp
firewall-cmd --runtime-to-permanent

Vérifier les autorisations pour les communications de keepalived

Pour vérifier que les démons keepalived puissent communiquer, lancer la commande suivante

firewall-cmd --list-all

La ligne rich rules indiquera si le protocol "vrrp" est autorisé.

Voici deux exemples de sorties,

• sur le premier l'autorisation est en place
  
  

public (active)
  target: default
  icmp-block-inversion: no
  interfaces: enp0s3 enp0s8
  sources:
  services: cockpit dhcpv6-client ssh
  ports: 80/tcp 7765/tcp 7766/tcp 7767/tcp 7768/tcp 7769/tcp 7770/tcp 7771/tcp 7772/tcp 7773/tcp 7777/tcp 7780/tcp 50000/tcp 3000/tcp
  protocols:
  forward: no
  masquerade: no
  forward-ports:
  source-ports:
  icmp-blocks:
  rich rules:

Comme vu dans la section présentant l'architecture haute disponibilité qu'on est en train de mettre en place, le Broker, et en particulier son module Graphite-Perfdata, doit maintenant envoyer ses informations au démon carbon-relay au lieu de les envoyer directement à un démon carbon-cache.

Il faut donc modifier la configuration actuelle de Shinken pour envoyer les métriques sur le démon carbon-relay plutôt qu'au démon carbon-cache.

Pour ça, on modifie la configuration du module Graphite-Perfdata dans le fichier /etc/shinken/modules/graphite.cfg:

#======== Graphite address =========
# host:  graphite server address (ip or fqdn)
host                      rule  addresse_ip_virtuelle

# port:  tcp port of the graphite server
port                        2013

On change ici le port 2003 (port par défaut du carbon-cache) vers le port 2013 (port par défaut du carbon-relay).

Il faut également modifier les réglages de Shinken pour lui spécifier d'envoyer les requêtes de lecture des métriques sur le carbon-relay au lieu de les envoyer directement sur un démon carbon-cache.

Cette modification se fait directement dans les réglages du module WebUI, responsable de l'interface de Visualisation. Dans /etc/shinken/modules/webui.cfg, on modifie la section suivante:

[...]


#======== Metrology access ========= 
# Multi-realm graphite parameter     
graphite_backends        *:addresse_ip_virtuelle


[...]

Redémarrage de Graphite et Shinken

protocol value="vrrp" accept

• sur le deuxième, elle ne l'est pas :
  
  

public (active)
  target: default
  icmp-block-inversion: no
  interfaces: enp0s3 enp0s8
  sources:
  services: cockpit dhcpv6-client ssh
  ports: 80/tcp 7765/tcp 7766/tcp 7767/tcp 7768/tcp 7769/tcp 7770/tcp 7771/tcp 7772/tcp 7773/tcp 7777/tcp 7780/tcp 50000/tcp 3000/tcp
  protocols:
  forward: no
  masquerade: no
  forward-ports:
  source-ports:
  icmp-blocks:
  rich rules:

Autoriser les démons keepalived à communiquer

Si le protocole n'est pas autorisé par le firewall, pour autoriser le trafic pour keepalived, utiliser les commandes suivantes :

firewall-cmd --add-rich-rule='rule protocol value="vrrp" accept' --permanent
firewall-cmd --reload

Comportement de Shinken avec un cluster Graphite

La haute disponibilité de Graphite est entièrement  gérée par Keepalived, puis Graphite s'occupe de la réplication des données entre les démons carbon-cache et de la lecture des données.

Cette modification d'architecture est invisible pour les utilisateurs de Shinken.

Outils externes ( Grafana ) et relation UUID ↔ nom

En cas d'utilisation d'outils externes ( comme Grafana par exemple ) pour consulter les métriques, il faut également

• configurer la récupération des données de l'inventaire sur tous les serveurs constituant le cluster,
• autoriser les connexions au serveur d'inventaire depuis les serveurs constituant le cluster.

( voir la page Base de métrologie ( Graphite ) section Correspondance ID → Nom de l'élément )

Comportement de Shinken avec un cluster Graphite

La haute disponibilité de Graphite est donc gérée entièrement par Keepalived, puis Graphite s'occupe de la réplication des données entre les démons carbon-cache et de la lecture des données. Cette modification d'architecture est invisible pour les utilisateurs.