Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.
Comment: Reverted from v. 23


Scroll Ignore
scroll-pdftrue
scroll-officetrue
scroll-chmtrue
scroll-docbooktrue
scroll-eclipsehelptrue
scroll-epubtrue
scroll-htmltrue


Panel
titleSommaire

Table of Contents
stylenone



Rôle

Le démon broker exporte et gère les données du Scheduler. Sa gestion ne peut se faire qu'à travers des modules. Plusieurs modules de gestion peuvent être activés en même temps. 

Exemples de modules du Broker : 

  • Module pour centraliser les logs Shinken : Simple-log (flat file)
  • Module pour exporter les données: Graphite-Perfdata
  • Module pour l'API Livestatus 
  • Module pour l'affichage de l'interface de visualisation : WebUI

Données

Le Broker reçoit toutes les données des Schedulers. Il garde également en mémoire les données des hôtes et des checks.

Enfin, il sauvegarde les résultats des checks dans une base mongodb (si possible, cette base doit être installée sur le même serveur que le broker).


Données de métrologie

Les données de métrologie sont sauvegardées sur le serveur du broker dans l'application graphite.

Cette application écoute le port 2003, et cette connexion se fait sans authentification.

Cette application doit donc écouter exclusivement sur l'interface réseau locale (loopback) du serveur du broker. 

Logique interne du Broker 

Résumé des connexions du Broker  

SourceDestinationPortProtocoleNote
BrokerScheduler7768HTTP/HTTPS
BrokerPoller7771HTTP/HTTPS
BrokerReactionner7769HTTP/HTTPS
BrokerReceiver7773HTTP/HTTPS
BrokerBroker (local)2003TCPinterface localhost uniquement

Description des variables


PropriétéDéfautDescription

broker_name

N/ACette variable est utilisée pour identifier le *nom réduit* du Broker auquel les données sont associées.

address

N/ACette directive est utilisée pour définir l'adresse permettant de joindre ce Broker. Par défaut "localhost", changez-le par un nom DNS ou une adresse IP.

port

7772Cette directive est utilisée pour définir le port TCP utilisé par le démon.

use_ssl

0Cette variable est utilisée pour définir si le Broker doit être contacté en HTTPS (*1*) ou HTTP (*0*). La valeur par défaut est *0* (HTTP).

spare

0Cette variable est utilisée pour définir si le broker peut être géré comme un spare (prendra uniquement la configuration si le maître échoue). La valeur par défaut est *0* (maître).
 spare_daemonN/ANom du démon spare qui sera utilisé pour reprendre le travail de ce démon s'il vient à ne plus être disponible

timeout

3Cette variable est utilisée pour définir le temps en secondes avant que l'Arbiter ne considère ce démon comme à l'arrêt. Si ce démon est joignable en HTTPS (use_ssl à 1) avec une latence élevée, nous vous conseillons alors d'augmenter cette valeur de timeout (l'Arbiter aura besoin de plus d'allers/retours pour le contacter).

data_timeout

120Cette variable est utilisée pour définir le temps en secondes avant de considérer un transfert de configuration ou de données comme échoué.

max_check_attempts

3Si le ping permettant de détecter la disponibilité réseau du nœud est en échec N fois ou plus, alors le nœud est considéré comme mort. (par défaut, 3 tentatives)

check_interval

60Intervalle de Ping toutes les N secondes.

modules

N/ACette variable est utilisée pour définir les modules chargés par le broker.

realm

N/ACette variable est utilisée pour définir le royaume où le broker doit être. Si aucun n'est sélectionné, celui par défaut lui sera assigné.

manage_sub_realms

1Cette variable est utilisée pour définir si le broker prendra des tâches des Schedulers des sous-royaumes .

manage_arbiters

1Prends les données de l'Arbiter. Il ne devrait y avoir qu'un seul broker pour l'Arbiter.

satellitemap

N/ACette variable est utilisée pour définir, pour des environnements NATés, les différents satellites comme vus depuis ce broker.

broks_packet_size

204800Si présent, les demandes vers les schedulers vont avoir comme limite haute de taille de paquet cette valeur (en Ko). Par défaut les envois sont illimités.

broker__manage_brok__enable_sub_processes_memory_usage_protection

1Si activé, le broker va vérifier qu'il y a assez de RAM disponible sur le système avant de lancer ses processus workers qui poussent les broks vers les modules externes (comme WebUI)

broker__manage_brok__sub_process_memory_usage_system_reserved_memory

0Dans le cas de la protection de mémoire, on peut réserver un pourcentage de RAM pour le système qui ne sera pas considérée comme disponible par le démon

broker__manage_brok__sub_processes_memory_usage_protection_max_retry_time

5Dans le cas de la protection mémoire, pendant combien de temps le broker va attendre (en secondes) avant de considérer qu'il n'a pas assez de mémoire, ce qui aura comme conséquence de tuer le module externe concerné.

broker__manage_brok__sub_process_broks_pusher_min_execution_timeout

5Temps (en seconde) que le broker va laisser aux workers qui poussent les broks vers les modules externes pour s'exécuter.

broker__manage_brok__sub_process_broks_pusher_security_ratio

5Le broker va estimer le temps d'exécution des workers qui poussent les broks en se basant sur leur moyenne passée, et va appliquer ce ratio multiplicateur comme timeout d'exécution.

broker__manage_brok__sub_process_broks_pusher_max_execution_timeout

240Temps (en secondes) que le broker va laisser aux workers qui poussent les broks vers les modules externes pour s'exécuter.

broker__manage_brok__sub_process_broks_pusher_max_retry

3Nombre de tentatives où le broker va relancer les workers qui poussent les broks avant d’arrêter et tuer le module lié.
broker__manage_brok_module_broks_getter_early_lock 
0Autorise la prise du lock dès la récupération d'un premier broks set (la récupération des broks en retard, et la dé-sérialisation se font alors dans la session critique (Locké) pour disposer d'un maximum de temps CPU)
broker__manage_brok_module_broks_getter_late_sets_allowed
10Nombre de sets en attente tolérés.
Au dessus de ce nombre, les sets sont immédiatement récupérés pour être traités maintenant
  • 0 désactive le traitement des sets en attente
broker__manage_brok_module_broks_getter_max_late_broks_managed
200000Nombre maximal de broks en retard qu'on peut récupérer pour le traitement actuel
  • 0 pas de limite, on récupère tous les broks pour obtenir  broker_manage_brok_module_broks_getter_late_sets_allowed en attente
broker__manage_brok_module_broks_getter_loop_on_late_broks
0Après traitement des broks, on vérifie s'il reste encore des broks set en retard, si leur nombre dépasse broker_manage_brok_module_broks_getter_late_sets_allowed on garde le lock et on continue l'absorption des broks en retard

enabled

N/A

Définition - exemple

Dans le répertoire /etc/shinken/brokers/, voici un exemple de définition qui permet la définition du Broker (à placer dans un fichier CFG)  :

(warning) Il est conseillé d'éditer les fichiers .cfg avec l'encodage utf-8

enabled

N/ACette variable est utilisée pour définir si le broker est activé ou non.

Définition - exemple

Dans le répertoire /etc/shinken/brokers/, voici un exemple de définition qui permet la définition du Broker (à placer dans un fichier CFG)  :

(warning) Il est conseillé d'éditer les fichiers .cfg avec l'encodage utf-8

Code Block
languagebash
#===============================================================================
# BROKER
#===============================================================================
# Description: The broker is responsible for:
# - Exporting centralized logs of all Shinken daemon processes
# - Exporting status data
# - Exporting performance data
# - Exposing Shinken APIs:
#   - Status data
#   - Performance data
#   - Command interface
#
Code Block
languagebash
#===============================================================================
# BROKER
#===============================================================================
# Description: The broker is responsible for:
# - Exporting centralized logs of all Shinken daemon processes
# - Exporting status data
# - Exporting performance data
# - Exposing Shinken APIs:
#   - Status data
#   - Performance data
#   - Command interface
#===============================================================================

define broker {

    #======== Daemon name and address =========
    # Daemon name. Must be unique
    broker_name               broker-master

    # IP/fqdn of this daemon (note: you MUST change it by the real ip/fqdn of this server)
    address                   localhost

    # Port (HTTP/HTTPS) exposed by this daemon
    port                      7772

    # 0 = use HTTP, 1 = use HTTPS
    use_ssl	                  0


    #======== Master or spare selection =========
    # 1 = is a spare, 0 = is not a spare
    spare                     0

    # spare_daemon: name of the daemon that will take this daemon job if it dies
    # IMPORTANT:
    #   * a spare_daemon can only be the spare of 1 (and only one) master daemon
    #   * a spare_daemon cannot have a spare_daemon==

define broker {

    #======== Daemon name *and the spare must have modules with the same module_type as the masteraddress =========
    # Daemon name. Must be unique
    # Example: spare_daemonbroker_name               broker-sparemaster

    # IP/fqdn of spare_this daemon

 (note: you  #======== Daemon connection timeout and down state limit =========
MUST change it by the real ip/fqdn of this server)
    address      # timeout: how many seconds to consider a node don't answer
   localhost

 timeout   # Port (HTTP/HTTPS) exposed by this daemon
    port      3

    # data_timeout: how many second to consider a configuration transfert to be failed7772

    # because the network brandwith is too small.
0 = use HTTP, 1 = use HTTPS
    use_ssl	    data_timeout              1200


    # max_check_attempts: how many fail check to consider this daemon as DEAD
    max_check_attempts        3

    # Check this daemon every X seconds
    check_interval======== Master or spare selection =========
    # 1 = is a spare, 0 = is not a spare
    spare                      600



    #======== Modules to enable for spare_daemon: name of the daemon that will take this daemon =========job if it dies
    # AvailableIMPORTANT:
    # - Simple-log * a spare_daemon can only be the spare of 1 (and :only saveone) all logs into a common filemaster daemon
    # - WebUI * a spare_daemon cannot have a spare_daemon
    #   * the spare :must visualisation interface
    # - Graphite-Perfdata     : save all metrics into a graphite database
have modules with the same module_type as the master
    # Example: spare_daemon     # - sla       broker-spare
    spare_daemon

    #======== Daemon connection timeout :and savedown slastate into a databaselimit =========
    # -timeout: Livestatushow many seconds to consider a node don't answer
    :timeout TCP API to query element state, used by nagios external tools like NagVis or Thruk
    modules3

    # data_timeout: how many second to consider a configuration transfert to be failed
   Simple-log, WebUI, Graphite-Perfdata, sla, event-manager-writer
    

    #======== Realm and architecture settings =========
    # Realm to set this daemon into
    realm             # because the network brandwith is too small.
    data_timeout              120

    # max_check_attempts: how many fail check to consider this daemon as DEAD
    max_check_attempts        All3

    # 1Check =this takedaemon dataevery fromX theseconds
 daemon realm and itscheck_interval sub realms
    # 0 = take data only from the daemon realm 60



    manage_sub_realms        1


#======== Modules to enable for this daemon =========
    # In NATted environments, you declare each satellite ip[:port] as seen by
    # *this* broker (if port not set, the port declared by satellite itself
    # is used)Available:
    # - Simple-log            : save all logs into a common file
    #satellitemap# - WebUI  scheduler-1=1.2.3.4:7768, poller-1=1.2.3.5:7771

    # Exchange between brokers <- schedulers can be limited by packet size: (invisualisation kB)interface
    # Note: as compression is automatic, this is a higher limit, and in real case the- Graphite-Perfdata     : save all metrics into a graphite database
    # - sla     packets will be lower than this value
    # broks_packet_size 1024


  :  #======== Memory protection =========save sla into a database
    # - Livestatus  Are the daemon module process and worker process are waiting for: enough
TCP API to query #element memorystate, toused beby availablenagios beforeexternal beingtools launch.like Default:NagVis 1or (enabled)Thruk
    broker__manage_brok__enable_sub_processes_memory_usage_protectionmodules       1

    # The sub process memory usage protection can have a system reserved memorySimple-log, WebUI, Graphite-Perfdata, sla, event-manager-writer
    #

 that won't be used by theses sub process when launched #======== Realm and architecture settings =========
    # ByRealm default:to 0set (nothis reserveddaemon memory)into
    #realm Example: 10  (means 10% of the total memory is reserved for the system)
    broker__manage_brok__sub_process_memory_usage_system_reserved_memory    0All

    # If a sub process cannot be started because of the protection, how many seconds
    # it will be retry and wait that the system memory is freed until it fail to start 1 = take data from the daemon realm and its sub realms
    # 0 = take data only from the daemon realm
    manage_sub_realms        1


    # In NATted environments, you declare each satellite ip[:port] as seen by
    # By default: 5 (seconds)
    broker__manage_brok__sub_processes_memory_usage_protection_max_retry_time   5


    #======== Brok pusher worker =========*this* broker (if port not set, the port declared by satellite itself
    # is used)
    #satellitemap    scheduler-1=1.2.3.4:7768, poller-1=1.2.3.5:7771

    # The brokerExchange spawnbetween broksbrokers pusher<- subschedulers processcan tobe pushlimited toby externalpacket modulessize (likein WebUIkB)
    # theNote: brokeras willcompression lookis atautomatic, this workeris a executionhigher timelimit, and willin killreal ifcase it timeoutthe
    #   The    brokerpackets will be lower computethan thethis averagevalue
 execution time of previous workers to# broks_packet_size 1024


    # decide about how many time this worker will take based on:
    # number of broks to send / past average send speed (broks/s)
    # If this time is reach, it means that the pusher process is killed======== Memory protection =========
    # Are the daemon module process and worker process are waiting for enough
    # memory to be available before being launch. Default: 1 (enabled)
    broker__manage_brok__enable_sub_processes_memory_usage_protection   1

    # ForThe sub smallprocess amountmemory ofusage broksprotection tocan send,have ita shouldsystem leadreserved tomemory
 ridicusly small allowed execution# time
that won't be used #by andtheses thesub facprocess towhen spawnlaunched
 the sub process can# beBy higherdefault: than0 this(no value, so we are using a minimal
    # execution timeout
    # Default: 5 (secondreserved memory)
    # Example: 10  (means 10% of the total memory is reserved for the system)
    broker__manage_brok__sub_process_broksmemory_pusherusage_minsystem_executionreserved_timeoutmemory           50

    # In order to manage the fact that the server can slow down during this send, you can setup aIf a sub process cannot be started because of the protection, how many seconds
    # ratio thatit will be retry usedand towait increasethat the allowedsystem memory timeoutis byfreed multiplyuntil it fail to start
    # DefaultBy default: 5 (seconds)
    broker__manage_brok__sub_processes_memory_processusage_broksprotection_pushermax_securityretry_ratio time                 55


    # At the broker start without stats, this valud will be used for the timeout
    # Default: 240 (seconds======== Brok pusher worker =========
    # The broker spawn broks pusher sub process to push to external modules (like WebUI)
    broker__manage_brok__sub_process_broks_pusher_max_execution_timeout           240

    # If a sub process reach a timeout, it will be killed and relaunched. After max retry,# the broker will look at this worker execution time, and will kill if it timeout
    # The broker will compute the average execution time of previous workers to
    # the attached moduledecide about how many time this worker will be restartedtake based on:
    # Default:number 3
of broks   broker__manage_brok__sub_process_broks_pusher_max_retry      to send / past average send speed (broks/s)
    # If this time is reach, it means that the pusher process is 3
killed

    #======== Brok getter in modules =========
    # These parameters allow some internal tuning in broks management in modules
 
    # Take the lock as soon as reader thread has some broks to manage For small amount of broks to send, it should lead to ridicusly small allowed execution time
    # and the fac to spawn the sub process can be higher than this value, so we are using a minimal
    # inexecution ordertimeout
 to attempt to reduce# concurrent usage of CPUDefault: 5 (second)
    # broker__manage_brok__sub_moduleprocess_broks_getterpusher_min_earlyexecution_locktimeout           5

    # In order to manage the fact that the server can slow down 1
during 
this send, you can # Take extra broks sets to manage if more than this parameter sets are waiting
    #  0 special value disable managing of late broks setssetup a
    # ratio that will be used to increase the allowed timeout by multiply it
    # Default: 5
    # broker__manage_brok__sub_moduleprocess_broks_getterpusher_latesecurity_sets_allowedratio                     105
 
    # At Whenthe enabledbroker withstart previouswithout parameterstats, stopthis takingvalud extrawill broks setsbe whenused wefor alreadythe havetimeout
    # thisDefault: parameter broks to manage240 (seconds)
    # broker__manage_brok__sub_moduleprocess_broks_getterpusher_max_late_broks_managedexecution_timeout           240

    #  200000
 
    # After we have managed some broks, if more than broker__manage_brok_module_broks_getter_late_sets_allowed
    # broks sets are waiting, continue late sets managing
    #If a sub process reach a timeout, it will be killed and relaunched. After max retry,
    # the attached module will be restarted
    # Default: 3
    broker__manage_brok_module_brokssub_getterprocess_loopbroks_onpusher_late_broksmax_retry                       03


    #======== Enable or not this daemon =========
    # 1 = is enabled, 0 = is disabled
    enabled                  1

}