Aller au contenu

Exploitation et observabilité

Une plateforme qui se déploie toute seule ne se surveille pas toute seule. Cette page décrit ce qui tourne en continu entre deux déploiements — et ce qui n’existe pas.

La collecte est assurée par VictoriaMetrics, en instance unique.

  • vmagent va chercher les métriques exposées par les composants et les écrit dans VictoriaMetrics.
  • vmalert évalue les règles d’alerte et d’enregistrement.
  • Alertmanager reçoit les alertes déclenchées, les regroupe et les pousse vers ntfy, qui les affiche en notification sur mon téléphone.
  • Grafana lit VictoriaMetrics et affiche les tableaux de bord. L’un d’eux est public : il est listé dans les démos.

Le chemin d’alerte s’arrête au téléphone. Il n’y a ni astreinte, ni escalade, ni second destinataire : si l’appareil est en silencieux, l’alerte attend. C’est suffisant pour une plateforme personnelle, et c’est à savoir avant d’en déduire quoi que ce soit sur un fonctionnement en équipe.

Le langage de requête est PromQL. Les règles, les tableaux de bord et les requêtes écrits ici sont transposables sur une pile Prometheus sans réécriture. La décision 0004 donne la raison du choix et son coût : un outil moins répandu, donc moins de réponses déjà écrites quand on cherche.

VictoriaMetrics observe le cluster depuis l’intérieur. Une supervision interne ne peut pas signaler sa propre panne : si le nœud tombe, elle tombe avec lui. Sur une plateforme à un seul nœud, c’est le mode de panne le plus probable, et c’est précisément celui que la chaîne de métriques ne peut pas rapporter.

Gatus interroge les points d’entrée publics en boîte noire — la même requête qu’un visiteur — et publie une page de statut. Il mesure ce que le visiteur obtient, pas ce que le cluster croit exposer. Les deux peuvent diverger : un pod prêt derrière un Ingress mal routé est sain vu de l’intérieur et injoignable vu de l’extérieur.

Le point de vue est extérieur ; l’hébergement ne l’est pas. Gatus tourne sur le cluster qu’il observe. Il détecte donc les pannes applicatives — un service qui ne répond plus, un certificat expiré, un Ingress cassé — mais pas la perte du nœud : dans ce cas, la page de statut disparaît en même temps que ce qu’elle surveille.

Ce trou ne se bouche pas avec un réglage. Il demande un point d’observation hébergé ailleurs que sur la machine observée. Ce n’est pas fait.

Les workers sont mis à l’échelle par KEDA, sur le retard du consumer group Redis — le nombre de messages en attente de traitement, pas la consommation CPU.

La différence compte. Un worker qui attend une réponse réseau consomme peu de CPU. Un autoscaler qui regarde la CPU ne le voit pas travailler, n’ajoute rien, et laisse la file s’allonger. Le retard de la file mesure exactement ce qu’on veut corriger : le travail en attente.

Le plafond est de 4 réplicas. Ce n’est pas un réglage prudent, c’est une limite matérielle : au-delà, la mémoire manquerait à PostgreSQL et à la supervision. Une file qui dépasse durablement ce que 4 workers absorbent ne se règle pas en ajoutant des réplicas — elle se règle en changeant de machine.

PostgreSQL est géré par CloudNativePG, en instance unique. L’opérateur sait couvrir tout le cycle de vie : provisionnement, configuration, sauvegardes continues, restauration à un instant donné. Les deux derniers ne sont pas activés, faute de stockage objet — voir Les sauvegardes.

Instance unique veut dire qu’il n’y a pas de bascule automatique. La reprise passerait par une restauration, pas par un basculement.

Redis sert trois usages : le cache, les sessions, et les files de messages en streams. Ce sont ces streams que KEDA observe.

C’est le chantier ouvert de la plateforme, et autant le dire avant le reste : aujourd’hui, il n’y a aucune sauvegarde — ni de l’état du cluster, ni des données.

Les deux manques n’ont pas le même poids.

L’état du cluster. Le datastore de K3s est SQLite ; etcd n’est pas activé, donc il n’y a pas de snapshot etcd. Ce manque-là coûte peu : l’état désiré vit dans gitops. Un nœud réinstallé, puis resynchronisé par ArgoCD, revient au même point — c’est exactement ce que le cycle création / destruction / recréation a vérifié. Ce qui échapperait à cette reconstruction serait une ressource qu’aucun dépôt ne déclare, et par construction il ne devrait pas y en avoir.

Les données applicatives. Là, rien ne compense. CloudNativePG sait produire des sauvegardes continues et restaurer à un instant donné, mais cela demande un stockage objet. Il n’y en a pas encore. Un stockage Cloudflare R2 est prévu, et c’est ce qui débloquera la suite.

Tant qu’il n’existe pas, la perte du serveur est la perte des données applicatives. Il n’y a pas de formulation plus douce. Concrètement : la plateforme est reconstructible, le cycle a été vérifié — mais elle reviendrait vide.

Le runbook de restauration est écrit et attend d’être exécuté pour de vrai. Une sauvegarde dont la restauration n’a jamais été testée est une hypothèse ; une procédure qui n’a jamais tourné en est une aussi. Les temps qu’il annonce sont donc des emplacements vides, pas des mesures.

Pod Security Admission est en mode restricted : pas de conteneur privilégié, pas d’élévation de privilèges, pas d’exécution en root, pas de montage de l’hôte. Un pod qui demande ces droits est refusé à la création.

NetworkPolicies en refus par défaut : deux pods ne se parlent que si une règle l’autorise. Sur un nœud unique, tout partage le même réseau et tout serait joignable sans ces règles.

Le refus par défaut a un coût d’exploitation quotidien. Un nouveau composant ne communique pas tant que sa règle n’est pas écrite, et le symptôme est un timeout — pas un refus explicite. C’est la panne la plus fréquente à l’ajout d’un service, et la première chose à vérifier.

Les Secrets sont chiffrés au repos dans la base SQLite, et chiffrés dans Git par SOPS et age. Les deux sont complémentaires : le premier protège un snapshot qui fuite, le second protège le dépôt.

Il n’y a pas de collecte centralisée des journaux. Ni Loki, ni Elasticsearch, ni rien d’autre.

Lire un journal veut dire se connecter via Teleport et lancer kubectl logs. Ce qui en découle :

  • un pod redémarré perd ses journaux, sauf à demander l’instance précédente avec --previous — et seulement celle-là ;
  • un pod supprimé les perd définitivement ;
  • une recherche sur plusieurs services et plusieurs heures n’est pas possible ;
  • il n’y a pas d’analyse après coup au-delà de ce que le conteneur a encore en mémoire.

C’est le manque le plus sérieux de cette plateforme. La raison est le budget mémoire : une pile de collecte, d’indexation et de stockage prendrait une part de ce qui reste aux applications, sur les 8 Go disponibles.

La compensation est partielle. Les alertes portent sur les métriques, qui sont conservées. Les métriques suffisent à détecter un problème ; elles ne suffisent pas à le diagnostiquer. C’est un arbitrage, pas un oubli, et il redeviendra ouvert le jour où la machine changera.