fix(keepalived): REVERT preempt_delay → nopreempt (Prod-Ausfall 2026-08-03) — v1.3.15
v1.3.9 hatte auf dem PG-Primary (Prio 200) nopreempt durch preempt_delay ersetzt, damit die VIP zum Primary heimwandert. Das reaktivierte GENAU den Fehlermodus, den nopreempt verhindert: der Prio-200-Node holt die VIP zurück, sobald keepalived ihn für gesund hält — aber die Track-Scripts können "gesund" melden, während der Dienst kaputt ist. Am 2026-08-03 entriss so ein halb-kaputtes utm-1 dem funktionierenden utm-2 die VIP (Log: "Master received advert from .6 with higher priority 200 → Entering BACKUP") und hielt sie fest → Ausfall, bis utm-1 hart abgeschaltet wurde. Zurück auf nopreempt (beide Nodes, wie vor v1.3.9). VIP-Affinität zum Primary erst wieder, wenn der Health-Check "Prozess up aber Dienst kaputt" als FAULT erkennt. Bis dahin: Stabilität > Affinität. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
@@ -30,12 +30,6 @@ var cfgTpl string
|
||||
|
||||
var tpl = template.Must(template.New("keepalived").Parse(cfgTpl))
|
||||
|
||||
// preemptDelaySeconds: wie lange der bevorzugte Node (PG-Primary, Prio 200)
|
||||
// nach seiner Erholung STABIL sein muss, bevor er die VIP zurückholt. Lang
|
||||
// genug, dass ein kurzer Deploy-/VM-Hick keinen sofortigen Flap-Back auslöst,
|
||||
// kurz genug, dass die VIP zeitnah zum Primary heimwandert.
|
||||
const preemptDelaySeconds = 120
|
||||
|
||||
// VIPEntry ist eine einzelne VIP-Adresse die keepalived verwaltet.
|
||||
type VIPEntry struct {
|
||||
Address string // z.B. 89.163.205.100
|
||||
@@ -53,10 +47,6 @@ type View struct {
|
||||
PeerIP string // Peer-Public-IP (unicast_peer)
|
||||
AuthPass string
|
||||
VIPs []VIPEntry // alle is_vip=true Einträge aus ip_addresses
|
||||
// PreemptDelay > 0: dieser Node holt die VIP nach `preempt_delay`
|
||||
// Sekunden stabiler Erholung zurück (nur der bevorzugte PG-Primary,
|
||||
// Prio 200). 0 = nopreempt (Standby reißt die VIP nie an sich).
|
||||
PreemptDelay int
|
||||
// Dual-path VRRP (Split-Brain-Schutz, Migration 0033)
|
||||
HBInterface string
|
||||
HBSrcIP string
|
||||
@@ -177,25 +167,25 @@ func (g *generator) buildView(cs *models.ClusterSettings, vips []VIPEntry, local
|
||||
v.HBRouterID = 52
|
||||
}
|
||||
|
||||
// State IMMER BACKUP (kein Node startet als MASTER — sonst würde
|
||||
// nopreempt/preempt_delay ignoriert). Die Priorität entscheidet die
|
||||
// Election: der PG-Primary (200) ist der bevorzugte VIP-Home-Node.
|
||||
// State IMMER BACKUP + `nopreempt` auf BEIDEN Nodes. Die Priorität
|
||||
// entscheidet die INITIAL-Election (primary=200 gewinnt), aber ein
|
||||
// erholter Node reißt die VIP NIEMALS zurück.
|
||||
//
|
||||
// Preemption-Strategie:
|
||||
// - Bevorzugter Node (Prio 200, PG-Primary): `preempt_delay` — holt die
|
||||
// VIP nach preemptDelaySeconds STABILER Erholung zurück. So „wandert"
|
||||
// die VIP nach einem Failover/Deploy-Blip von selbst wieder heim zum
|
||||
// Primary (gewünschtes Verhalten), aber der Delay + gw-check +
|
||||
// Heartbeat verhindern Flap-Back bei kurzen Hicks.
|
||||
// - Standby (Prio 100): `nopreempt` — reißt die VIP NIE an sich
|
||||
// (Split-Brain-Schutz; Promotion zum Primary bleibt manuell).
|
||||
// pg_role=standby ist das härtere Signal (Standby ist nie bevorzugt).
|
||||
// WARUM kein Preempt (Incident 2026-08-03): eine frühere `preempt_delay`-
|
||||
// Variante ließ den Prio-200-Node die VIP zurückholen, sobald keepalived
|
||||
// ihn für „gesund" hielt. Die Track-Scripts (chk_edgeguard/chk_gateway)
|
||||
// können aber „gesund" melden, während der eigentliche Dienst noch kaputt
|
||||
// ist → der halb-kaputte Primary entriss dem funktionierenden Standby die
|
||||
// VIP und hielt sie fest (Ausfall, bis der Primary hart abgeschaltet
|
||||
// wurde). nopreempt verhindert genau das. VIP-Affinität zum Primary ist
|
||||
// erst wieder vertretbar, wenn der Health-Check „Prozess up aber Dienst
|
||||
// kaputt" zuverlässig als FAULT erkennt. Bis dahin gilt: Stabilität >
|
||||
// Affinität. Promotion/PG-Failover bleibt manuell (edgeguard-ctl promote).
|
||||
v.State = "BACKUP"
|
||||
if local.PGRole == "standby" {
|
||||
v.Priority = 100
|
||||
} else if local.PGRole == "primary" || local.Role == "primary" {
|
||||
v.Priority = 200
|
||||
v.PreemptDelay = preemptDelaySeconds
|
||||
} else {
|
||||
v.Priority = 100
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user