Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.
Comment: Make by tools (01.00.01) - action=merge_page
Scroll Ignore
scroll-viewporttrue
scroll-pdftrue
scroll-officetrue
scroll-chmtrue
scroll-docbooktrue
scroll-eclipsehelptrue
scroll-epubtrue
scroll-htmltruefalse
Panel
titleSommaire

Table of Contents
maxLevel3
stylenone

Rôle

Le démon broker Broker exporte et gère les données du Scheduler ( les objets Broks ).

  • Sa gestion ne peut se faire qu'à travers des modules.
  • Plusieurs modules de gestion peuvent être activés en même temps. 

Exemples de modules du Broker

Module pour centraliser les logs Shinken

:

Simple-log (flat file)

  • Module pour exporter les données de métrologie: Graphite-Perfdata
  • Module pour l'API Livestatus Livedata
  • Module pour l'affichage de l'interface de visualisation : WebUI

Données : les Broks

Le Broker reçoit toutes les données des Schedulers. Il garde également en mémoire les données des hôtes et des checks.

Enfin, il sauvegarde les résultats des checks dans une base mongodb (si possible, cette base doit être installée sur le même serveur que le broker).

Image Removed

Données de métrologie

Ce sont les objets Broks.

Info
titleLes Broks

Les Broks sont des conteneurs de données échangées entre les Schedulers et les Brokers. Il y a plusieurs types de Broks :

  • Des évènements ( comme un Scheduler qui vient de démarrer ).
  • La configuration des éléments supervisés ( hôtes, checks, période de temps, utilisateurs ).
  • L'état des hôtes, clusters et checks après chaque vérification.


Le rôle du démon Broker est de donner ces données ( Broks ) à tous ses modules.


Panel

Image Added

Données de métrologie

Les données de métrologie sont sauvegardées sur le serveur du broker Broker dans l'application graphite.

Cette application écoute le port 2003, et cette connexion se fait sans authentification.

Cette application doit donc écouter exclusivement sur l'interface réseau locale ( loopback ) du serveur du brokerBroker

Logique interne du Broker Broker

Panel
Image Removed

Image Added

Résumé des connexions du Broker

SourceDestinationPortProtocoleNote
BrokerScheduler7768HTTP/HTTPS
BrokerPoller7771HTTP/HTTPSBrokerReactionner7769HTTP/HTTPSBrokerReceiver7773HTTP/HTTPS
BrokerBroker (local)2003TCPinterface localhost uniquement

Description des variables


Description des variables

Scroll Title
anchorparameter_cfg
title
NomTypeUnitéDéfautDescription
No Format
broker_name
Texte__
PropriétéDéfautDescription

broker_name

N/A

Cette variable est utilisée pour identifier le

*

nom réduit

*

du Broker auquel les données sont associées.

No Format
address
N/A
URLlocalhost

Définit

Cette directive est utilisée pour définir

l'adresse permettant de joindre ce Broker.

Par défaut "localhost", changez-le par un nom DNS ou une adresse IP.

No Format
port
Entier__7772
Cette directive est utilisée pour définir le port

Port TCP utilisé par le démon.

No Format
use_ssl
Booléen__0
Cette variable est utilisée pour définir

Définit si le Broker doit être contacté en HTTPS

(*1*)

ou HTTP

(*0*).

.

Valeurs possibles:

  • 1 ( HTTPS )
  • 0
La valeur par défaut est *0*
  • ( HTTP )
.


No Format
spare
Booléen__0
Cette variable est utilisée pour définir
( maître )

Définit si le

broker

Broker peut être géré comme un spare ( prendra uniquement la configuration si le maître échoue ).

La valeur par défaut est *0* (maître).

Valeurs possibles:

  • 1 ( Activé )
  • 0 ( Désactivé )
No Format
spare_daemon
Texte____
N/A

Nom du démon spare ( c.a.d broker_name, à ne pas confondre avec son nom DNS ou adresse IP ) qui sera utilisé pour reprendre le travail de ce démon s'il vient à ne plus être disponible.

No Format
broker__manage_spare__spare_must_have_the_same_list_of_module_type
Booléen__1
Si cette option est désactivée (0), alors

Définit si la configuration des modules du spare défini par spare_daemon

ne

sera

pas

vérifiée pour voir si elle corresponds bien à celle du

master

maitre.

Valeurs possibles:

  • 1 ( Activé )
  • 0 ( Désactivé )
No Format
timeout
EntierSeconde3

Définit

timeout

3Cette variable est utilisée pour définir

le temps en secondes avant que l'Arbiter ne considère ce démon comme à l'arrêt. Si ce démon est joignable en HTTPS ( use_ssl à 1 ) avec une latence élevée,

nous vous conseillons

Shinken conseille alors d'augmenter

cette

la valeur de timeout ( l'Arbiter aura besoin de plus d'allers/retours pour le contacter ).

No Format
data_timeout
EntierSeconde120
Cette variable est utilisée pour définir le temps en secondes

Temps avant de considérer un transfert de configuration ou de données comme échoué.

No Format
max_check_attempts
Entier__3

Si le ping permettant de détecter la disponibilité réseau du nœud est en échec N fois ou plus, alors le nœud est considéré comme mort .

(par défaut, 3 tentatives)

No Format
check_interval
EntierSeconde60

Intervalle de Ping

toutes les N secondes.

.

No Format
modules
N/A
Texte____

Définit

Cette variable est utilisée pour définir

les modules chargés par le

broker

Broker.

No Format
realm
N/A
Texte____

Définit

Cette variable est utilisée pour définir

le royaume où le

broker

Broker doit être.

Si aucun n'est sélectionné, celui par défaut lui sera assigné.

No Format
manage_sub_realms
Booléen__1
Cette variable est utilisée pour définir

Définit si le

broker

Broker prendra des tâches des Schedulers des sous-royaumes.

manage_arbiters

Valeurs possibles:

  • 1 ( Activé )
  • 0 ( Désactivé )
No Format
manage_arbiters
Booléen__1

Prends les données de l'Arbiter. Il ne devrait y avoir qu'un seul

broker

Broker pour l'Arbiter.

Valeurs possibles:

  • 1 ( Activé )

satellitemap

  • 0 ( Désactivé )
No Format
satellitemap
Texte

__

__
N/A

broks_packet_size

204800Si présentes, les demandes vers les Schedulers vont avoir comme limite haute de taille de paquet cette valeur (en Ko). Par défaut les envois sont illimités.

broker__manage_brok__enable_sub_processes_memory_usage_protection

1Si activé, le broker va vérifier qu'il y a assez de RAM disponibles sur le système avant de lancer ses processus workers qui poussent les broks vers les modules externes (comme WebUI)

Cette variable est utilisée

pour définir, pour des environnements NATés, les différents satellites comme vus depuis ce broker.

dans le cas de royaume situé derrière un réseau NATé.

  • Elle est de la forme d'une liste séparée par des "," de valeur nom-démon=address:port
  • Les démons ainsi listé seront contacté avec le couple address:port du paramètre au lieu de leur adresse dans leur .cfg. *

Ceci permet ainsi à des démon derrière un réseau NAT d'échanger sur leur adresse locale au lieu de devoir ressortir sur leur adresse publique.

  • Exemple:  daemon1=192.168.0.1:7768,daemon2=192.168.0.1:7771
No Format
broks_packet_size
EntierKilo-octet204800

Si présentes, les demandes vers les Schedulers vont avoir comme limite haute de taille de paquet cette valeur ( en Ko ).

Par défaut les envois sont illimités.

No Format
broker__manage_brok__enable_sub_
process
processes_memory_usage_
system
protection
Booléen_
reserved
_
memory
0
1
Dans le cas de la protection de mémoire, on peut réserver un pourcentage de RAM pour le système qui ne sera pas considérée comme disponible par le démon

Définit si le Broker va vérifier qu'il y a assez de RAM disponibles sur le système avant de lancer ses processus workers qui poussent les broks vers les modules externes ( comme WebUI ).

Valeurs possibles:

  • 1 ( Activé )
  • 0 ( Désactivé )
No Format
broker__manage_brok__sub_
processes
process_memory_usage_
protection
system_
max_retry_time
reserved_memory
EntierPourcentage0
5

Dans le cas de la protection de mémoire,

pendant combien de temps le broker va attendre (en secondes) avant de considérer qu'il n'a pas assez de mémoire, ce qui aura comme

on peut réserver un pourcentage de RAM pour le système qui ne sera pas considérée comme disponible par le démon.

No Format
broker__manage_brok__sub_processes_memory_usage_protection_max_retry_time
EntierSeconde5

Dans le cas de la protection mémoire, pendant combien de temps le Broker va attendre avant de considérer qu'il n'a pas assez de mémoire, ce qui aura comme conséquence de tuer le module externe concerné.

No Format
broker__manage_brok__sub_process_broks_pusher_min_execution_timeout
EntierSeconde5

Temps

(en seconde)

que le

broker

Broker va laisser aux workers qui poussent les broks vers les modules externes pour s'exécuter.

No Format
broker__manage_brok__sub_process_broks_pusher_security_ratio
Entier__5

Le

broker

Broker va estimer le temps d'exécution des workers qui poussent les broks en se basant sur leur moyenne passée, et va appliquer ce ratio multiplicateur comme timeout d'exécution.

No Format
broker__manage_brok__sub_process_broks_pusher_max_execution_timeout
EntierSeconde240

Temps

(en secondes)

que le

broker

Broker va laisser aux workers qui poussent les broks vers les modules externes pour s'exécuter.

No Format
broker__manage_brok__sub_process_broks_pusher_max_retry
Entier__3

Nombre de tentatives où le

broker

Broker va relancer les workers qui poussent les broks avant d’arrêter et tuer le module lié.

enabled

N/ACette variable est utilisée pour définir si le broker est activé ou non.
No Format
broker__manage_brok__sub_process_broks_pusher_queue_batch_size
Entier__100000

Taille maximum en nombres de Broks que peuvent faire les workers qui poussent les broks aux modules externes ( comme WebUI ).

Attention, trop augmenter cette limite peux poser des problèmes d'envoi trop importants pour la socket de communication.

No Format
broker__manage_brok__oversized_data_warning_threshold__serialization_time
EntierMillisecondes100

Délai en millisecondes passées à la sérialisation d'un Brok lors de l'envoi au module ( et ses workers ). Passé ce délai sera affiché dans les logs du Broker en WARNING deux messages contenant :

  • le temps passé à le sérialiser et la taille de ses données variables.
  • le temps passé à le sérialiser et le nombre de ses données variables.

( voir la page Broker - Les logs communs des modules du Broker ).

No Format
broker__manage_brok__oversized_data_error_threshold__serialization_time
EntierMillisecondes500

Délai en millisecondes passées à la sérialisation d'un Brok lors de l'envoi au module ( et ses workers ). Passé ce délai sera affiché dans les logs du Broker en ERROR deux messages contenant :

  • le temps passé à le sérialiser et la taille de ses données variables.
  • le temps passé à le sérialiser et le nombre de ses données variables.

( voir la page Broker - Les logs communs des modules du Broker ).

Warning

La valeur ne peut pas être strictement inférieur au seuil d'attention.

No Format
enabled
Booléen__1

Définit si le Broker est activé ou non.

Valeurs possibles:

  • 1 ( Activé )
  • 0 ( Désactivé )

Définition - exemple

Dans le répertoire /etc/shinken/brokers/, voici un exemple de définition qui permet la définition du Broker ( à placer dans un fichier CFG )  :

(warning) Il est conseillé d'éditer les fichiers .cfg avec l'encodage utf-8

Code Block
languagejs
themeConfluence
#

Définition - exemple

Dans le répertoire /etc/shinken/brokers/, voici un exemple de définition qui permet la définition du Broker (à placer dans un fichier CFG)  :

(warning) Il est conseillé d'éditer les fichiers .cfg avec l'encodage utf-8

Code Block
languagebash
#===============================================================================
# BROKER
#===============================================================================
# Description: The broker is responsible for:
# - Exporting centralized logs of all Shinken daemon processes
# - Exporting status data
# - Exporting performance data
# - Exposing Shinken APIs:
#   - Status data
#   - Performance data
#   - Command interface
#===============================================================================

define broker {

    # BROKER
#======== Daemon name and address ============
    # Daemon name. Must be unique
    broker_name               broker-master

    # IP/fqdn of this daemon (note: you MUST change it by the real ip/fqdn of this server)
    address                   localhost

    # Port (HTTP/HTTPS) exposed by this daemon
    port                      7772

    # 0 = use HTTP, 1 = use HTTPS
    use_ssl	===========================================================
# Description: The broker is responsible for:
# - Exporting centralized logs of all Shinken daemon processes
# - Exporting status data
# - Exporting performance data
# - Exposing Shinken APIs:
#   - Status data
#   - Performance data
#   - Command interface
#===============================================================================

define broker {

# Shinken Enterprise. Lines added by import core. Do not remove it, it's used by Shinken Enterprise to update your objects if you re-import them.
    _SE_UUID            core-broker-060340145ade11e5b703080027f08538
    _SE_UUID_HASH       8e00136f9e61061e07ca0f4a63509b68
# End of Shinken Enterprise part

      0


    #======== MasterDaemon orname spareand selectionaddress =========
    # 1Daemon =name. isMust abe spare,unique
 0 = is notbroker_name a spare
    spare         broker-master

    # IP/fqdn of this daemon (note: you MUST 0

change it by the # spare_daemon: name of the daemon that will take this daemon job if it dies
real ip/fqdn of this server)
    address         # IMPORTANT:
    #   * a spare_daemon can only be the spare of 1 (and only one) master localhost

    # Port (HTTP/HTTPS) exposed by this daemon
    #port   * a spare_daemon cannot have a spare_daemon
    #   * the   spare must have7772

 modules with the same# module_type0 as= theuse master
HTTP, 1 = use #HTTPS
    use_ssl	 - depending of the value of the broker__manage_spare__spare_must_have_the_same_list_of_module_type parmeter
    # Example: spare_daemon   0


    #======== Master or     broker-spare
    spare_daemon

selection =========
    # 1 = (default)is thea spare defined with spare_daemon must have the same module_type as this master
, 0 = is not a spare
    spare        #      0 = the spare module_type are not checked0

    # broker__manage_spare__spare_must_have_the_same_list_of_module_type     1


    #======== Daemon connection timeout and down state limit =========spare_daemon: name of the daemon that will take this daemon job if it dies
    # IMPORTANT:
    # timeout: how many seconds to consider * a node don't answer
    timeout      spare_daemon can only be the spare of 1 (and only one) master daemon
    #   * a spare_daemon cannot have a 3spare_daemon

    # data_timeout: how many second to consider a configuration transfert to be failed * the spare must have modules with the same module_type as the master
    #  because the network brandwith- isdepending tooof small.
the value of  data_timeout the broker__manage_spare__spare_must_have_the_same_list_of_module_type parameter
    # Example: spare_daemon        120

      broker-spare
 # max_check_attempts: how manyspare_daemon

 fail check to consider# this1 daemon= as DEAD
    max_check_attempts        3

(default) the spare defined with spare_daemon must have the same module_type as this master
    # Check0 this= daemonthe everyspare X seconds
    check_interval   module_type are not checked
    # broker__manage_spare__spare_must_have_the_same_list_of_module_type         601



    #======== ModulesDaemon connection totimeout enableand fordown thisstate daemonlimit =========
    # Availabletimeout:
 how many seconds #to -consider Simple-loga node don't answer
    timeout     : save all logs into a common file
    # - WebUI 3

    # data_timeout: how many second to consider a configuration transfer to be : visualisation interfacefailed
    # -because Graphite-Perfdatathe network bandwidth is too :small.
 save all metrics intodata_timeout a graphite database
    # - sla     120

    # max_check_attempts: how many fail check to consider this daemon :as DEAD
 save sla into a database
max_check_attempts     # - Livestatus 3

    # Check this daemon every X seconds
 : TCP API tocheck_interval query element state, used by nagios external tools like NagVis or Thruk60


    # - event-manager-writer  : save events for events manager (do not forget to activate the module in your webui to see data)
    modules======== Modules to enable for this daemon =========
    # Available:
    # - WebUI                   : Visualisation interface
    # Simple-log, WebUI, Graphite-Perfdata,  sla, event-manager-writer
    

: Save all  #======== Realm and architecture settings =========metrics into a graphite database
    # Realm- tosla set this daemon into
    realm             : Save sla into a   All
database
    # 1- =Livestatus take data from the daemon realm and its sub realms
    #: 0TCP =API taketo dataquery onlyelement fromstate, theused daemonby realm
nagios external tools like manage_sub_realmsNagVis or Thruk
    #  1


    # In NATted environments, you declare each satellite ip[:port] as seen by
    # *this* broker (if port not set, the port declared by satellite itself- broker-module-livedata  : REST API to query all monitored element data (host, cluster or check)
    # - event-manager-writer    : Save events for events manager (do not forget to activate the module in your webui to see data)
    # - is used)
Simple-log     #satellitemap    scheduler-1=1.2.3.4:7768, poller-1=1.2.3.5:7771

    #: ExchangeSave betweenall brokerslogs <-into schedulersa cancommon befile, limitedUse bythis packetmodule sizeonly (in kB)
    # Note: as compression is automatic, this is a higher limit, and in real case the
if you need to have all the check results in one file.
    modules         #       packets will be lower than this value
    # broks_packet_size 1024
WebUI, Graphite-Perfdata, sla, event-manager-writer
    

    #======== Realm Memoryand architecture protectionsettings =========
    # AreRealm theto daemonset modulethis processdaemon andinto
 worker process are waitingrealm for enough
    # memory to be available before being launch. Default: 1 (enabled)
    broker__manage_brok__enable_sub_processes_memory_usage_protection   1All

    # The1 sub= processtake memorydata usagefrom protectionthe candaemon haverealm aand systemits reservedsub memoryrealms
    # that won't be used by theses sub process when launched
    # By default: 0 (no reserved memory)0 = take data only from the daemon realm
    manage_sub_realms        1

    # Example:In 10NATted environments, (meansyou 10%declare ofeach the total memory is reserved for the system)
    broker__manage_brok__sub_process_memory_usage_system_reserved_memory    0

    # If a sub process cannot be started because of the protection, how many seconds
    # it will be retry and wait that the system memory is freed until it fail to startsatellite ip[:port] as seen by
    # *this* daemon (if port not set, the port declared by satellite itself
    # is used)
    #satellitemap    scheduler-1=1.2.3.4:7768, scheduler-2=1.2.3.5:7771

    # Exchange between brokers <- schedulers can be limited by packet size (in kB)
    # By defaultNote: 5 (seconds)
    broker__manage_brok__sub_processes_memory_usage_protection_max_retry_time   5


    #======== Brok pusher worker =========as compression is automatic, this is a higher limit, and in real case the
    # The broker spawn broks pusher sub processpackets towill pushbe tolower externalthan modules (like WebUI)this value
    # the broker will look at this worker execution time, and will kill if it timeout
    # The broker will compute the average execution time of previous workers to
    # decide about how many time this worker will take based on:broks_packet_size 1024


    #======== Memory protection =========
    # Are the daemon module process and worker process are waiting for enough
    # memory to be available before being launch. Default: 1 (enabled)
    broker__manage_brok__enable_sub_processes_memory_usage_protection   1

    # numberThe ofsub broksprocess tomemory sendusage protection /can pasthave averagea sendsystem speed (broks/s)reserved memory
    # Ifthat thiswon't timebe isused reach,by ittheses means that the pusher sub process iswhen killedlaunched

    # ForBy smalldefault: amount0 of(no broksreserved tomemory)
 send, it should lead# toExample: ridicusly10  small(means allowed10% executionof time
the total memory is #reserved andfor the facsystem)
 to spawn the sub process can be higher than this value, so we are using a minimal
    # execution timeout broker__manage_brok__sub_process_memory_usage_system_reserved_memory    0

    # If a sub process cannot be started because of the protection, how many seconds
    # Default:it 5 (second)
    broker__manage_brok__sub_process_broks_pusher_min_execution_timeout           5
will be retry and wait that the system memory is freed until it fail to start
    # InBy orderdefault: to manage the fact that the server can slow down during this send, you can setup a5 (seconds)
    broker__manage_brok__sub_processes_memory_usage_protection_max_retry_time   5


    #======== Brok pusher worker =========
    # ratioThe thatbroker will be usedspawn broks pusher sub process to increasepush theto allowedexternal timeoutmodules by multiply it(like WebUI)
    # Default:the 5
broker will look  broker__manage_brok__sub_process_broks_pusher_security_ratio         at this worker execution time, and will kill if it timeout
    # The broker will compute 5

    # At the broker start without stats, this valud will be used for the timeout
    # Default: 240 (seconds)
    broker__manage_brok__sub_process_broks_pusher_max_execution_timeout           240the average execution time of previous workers to
    # decide about how many time this worker will take based on:
    # number of broks to send / past average send speed (broks/s)
    # If this time is reach, it means that the pusher process is killed

    # IfFor asmall subamount processof reachbroks ato timeoutsend, it willshould belead killedto andridiculously relaunched.small Afterallowed maxexecution retry,time
    # and the attachedfac moduleto will be restartedspawn the sub process can be higher than this value, so we are using a minimal
    # execution timeout
    # Default: 35 (second)
    broker__manage_brok__sub_process_broks_pusher_min_maxexecution_retrytimeout           5

    # In order to manage the fact that the 3



server can slow  #======== Enable or not this daemon =========down during this send, you can setup a
    # 1ratio =that iswill enabled,be 0used =to isincrease disabled
the allowed timeout by enabledmultiply it
    # Default: 5
           1

}

broker__manage_brok__sub_process_broks_pusher_security_ratio                  5

    # At the broker start without stats, this valid will be used for the timeout
    # Default: 240 (seconds)
    broker__manage_brok__sub_process_broks_pusher_max_execution_timeout           240

    # If a sub process reach a timeout, it will be killed and relaunched. After max retry,
    # the attached module will be restarted
    # Default: 3
    broker__manage_brok__sub_process_broks_pusher_max_retry                       3

    # broker__manage_brok__sub_process_broks_pusher_queue_batch_size:
    #   * defines the maximum number of broks the "queue brok pusher"
    #     process will handle per send to external module ( like WebUI ) .
    #   * Remaining broks will be handled in next send.
    #   * IMPORTANT: increase this value can lead to error on the socket
    # Default: 100000 (broks/batch)
    # broker__manage_brok__sub_process_broks_pusher_queue_batch_size      100000

    # Broks whose serialization time exceeds this threshold will generate a warning
    # Default: 100 (milliseconds)
    # broker__manage_brok__oversized_data_warning_threshold__serialization_time   100

    # Broks whose serialization time exceeds this threshold will generate an error
    # Default: 500 (milliseconds)
    # broker__manage_brok__oversized_data_error_threshold__serialization_time     500


    #======== VMWare / ESXi ==========
    # 1 (default) = if vmware get the ESXi CPU stats value, 0 = do not get value
    vmware__statistics_compute_enable     1


    #======== Enable or not this daemon =========
    # 1 = is enabled, 0 = is disabled
    enabled                  1

}
  
Excerpt
hiddentrue
Scroll Title
anchordata_for_check_sup_de_sup
title
NomModifiable sur UnitéDéfautValeur par défaut à l'installation de ShinkenDescription
No Format
BROKER_PORT

l'Hôte

( Onglet Données )

---7772 7772

Configuration du port de communication avec le Broker.

Checks impactés :

Note : Cette valeur remplacera la valeur $ARG1$ dans la commande