Ce qui va suivre dans ce nouveau volet de mes chroniques n’a pour aucun but de critiquer un fabriquant, une entreprise ni l’investissements et efforts de toutes les personnes qui ont pu intervenir. Je souhaite partager mon retour d’expérience et non m’engager sur la piste glissante et nauséabonde de « Cette technologie c’est de la m***e et l’ensemble de la marque est à ch**r« . Loin de moi cette idée.

Je pense que cette prise de recul est nécessaire afin de dissocier le contexte d’un point de vue personnel arbitraire et obtus. 🙂

Volontairement, aucuns noms, sociétés, marques, lieux et dates ne seront cités.

Enfin bref, je vous ai déjà dit que j’étais malchanceux ? 😀

Contexte

Dans le quotidien professionnel ou personnel dans lequel nous évoluons tous, nous subissons l’évolution permanente et trop rapide des technologies. Ce qui rend ainsi un équipement doté de composants électroniques obsolètes alors même que nous venons de l’acheter. Si les médias nous rabâchent les oreilles sur nos smartphones, nous rencontrons malheureusement le cas avec les serveurs.

Genre les gros ordinateurs qui sont dans le « nuage » ?

Oui tout à fait. Ces derniers sont équipés de composant qui ont une espérance de vie limitée par les solutions applicatives tierces. Plus clairement les processeurs (CPU¹s) sont vite limités au bout de 5 à 7 ans du fait de leurs générations, des performances liées à l’usage et de leurs obsolescences (et encore, je suis généreux sur la durée de vie). C’est également le cas de la mémoire vive (DIMM²), média de stockage etc.

Enfin, dans mon cas, mon infrastructure hyperconvergée se compose d’un mix de génération GEN³7 et GEN8. Les équipements tournent à merveilles, toutefois les nodes de septième génération arrivent en EOL⁴ et doivent être remplacés par une génération plus récente.

M’ouai, pas de problème. Si tu c’est compatible intergénérations tu n’as qu’à acheter et installer des nodes dernières générations.

A qu’en voilà, une intervention pertinente ! Nous allons pouvoir entrer dans le vif du sujet 🙂 Dans la logique oui, mais cela serait trop simple et pour le coup non !

Ouai, tu fais ta diva et tu essaies de réaliser une acquisition caprice, on commence à te connaitre grand fou !

Je vais m’attarder sur l’utilisation d’un terme que j’affectionne, l’acquisition caprice. Qu’est ce que c’est ? Je propose la définition suivante.

Principe qui consiste à faire réaliser par son organisation une acquisition ou investissement dans des ressources qui n’est en aucun cas justifié et dont la seule motivation et de satisfaire un besoin personnel.

L’auteur névropathe

Quant à la réponse que j’apporterai, non ce n’est pas un caprice car dans ce genre de projet de renouvellement nous sommes toujours accompagnés par le constructeur pour coller le plus à notre besoin et de garantir l’évolutivité dans le temps.

Allez, place au popcorn, la boite de kleenex et le pack de bière (ou Jéroboam de rosé à portée de main).

Step 1 : Renouvellement de l’infrastructure existante

Bien, pour faire simple l’infrastructure de production que j’avais à l’époque était composée de 4 nodes hyperconvergés. Oui mais qu’est ce que l’hyperconvergence pour les non-initiés ?

Kesako Hyperconvergence ?

Je ne me pose pas en spécialiste de l’hyperconvergence et je vais essayer de ne pas m’éparpiller.

Les HCIs⁵ sont la combinaison de composant de datacenter commune dont le stockage est attaché localement avec un logiciel intelligent. Cette combinaison permet de gagner en flexibilité, évolutivité, performances et une réduction du TCO⁶. Contrairement à une infrastructure classique (STDI⁷) (serveur, réseau, stockage) l’administration d’un HCI est plus simple et plus performantes.

Personnellement, je suis convaincu de la technologie hyperconvergée et de sa supériorité face aux technologies « plus classiques ». (Et au fond de moi, je suis un défenseur de constructeur de nos équipements actuels et de ces solutions, mais il faut raison gardée, ne rentrons pas dans un débat stérile 🙂 ).

Nous pourrions résumer la chose suivante si nous devions proposer une équivalence entre les deux solutions hyperconvergée et standard :

HCI	STDI

Bref, nous avons les mêmes choses mais même en simplifiant (sans prendre en compte la résilience réseau) les couts d’investissements ne sont pas les mêmes. Il est à noter toutefois que nous retrouvons maintenant les mêmes fonctionnalités quant aux algorithmes d’optimisations de stockages sur les deux modèles d’infrastructures.

Retour à notre étude

Au vu de l’EOL de mes nodes GEN7, je contacte notre commercial et avant-vente chez notre constructeur pour enclencher l’étude et la BOM⁸ pour ajouter deux nouveaux node GEN9 à notre cluster existant.

Encore une fois je n’ai pas de chance, la configuration historique de nos nodes ne sont pas compatibles avec la composition matérielle des GEN9. Nous ne pouvons donc pas étendre le cluster actuel. Nous aurions pu tenter d’ajouter deux GEN8 mais c’est dernier était en cours de EOS⁹… Le sort s’acharne…

Tout cela pour un bête problème de compatibilité de stockage dit hybride (SSD¹⁰+HDD¹¹ versus NVMe¹²+HDD). La seule décision est de passer sur 4 nouveaux nodes, un nouveau cluster en GEN9.

Nous n’avons pas le choix, nous validons ensemble la BOM avec notre constructeur. Spoiler, j’ai soutenu ce choix jusqu’au bout.

Step 2 : Coup de Tonnerre et Hold Up !

Au même moment (ou sensiblement en même temps nous n’allons pas chipoter), une petite entreprise du nom de BROADCOM décide et réalise l’acquisition d’une société du nom de VMWare… L’un des leaders dans le monde sur les solutions de virtualisation et largement utilisés à travers tous les continents (si on cherche bien, je suis certain qu’il doit y avoir des vSpheres en Antartiques).

Bon c’est monnaie courante les achats de société. Keep Cool Raoul…

La tempête arrive… Terre brulé, aux vents…

C’est un séisme dans le monde de l’IT. Les rumeurs cours sur une potentielle augmentation des tarifs à tous les niveaux. Les revendeurs et fournisseurs sont complétements perdu et aveugles car la nouvelle société BROADCOM donne ordre, contre-ordre avec option rétropédalage en pas chassée.

Puis un jour, nous recevons par erreur la price-list par erreur. Cette dernière sera exposée en place publique telle la tête de Bernard-René Jourdan de Launay au bout d’une pique. La hausse des prix se situerai entre 300 et 1200%…

Au-delà des ESNs¹³, les organisations qui ont leurs SIs sous pavillon VMWares s’inquiète… Ah bon ?

L’art et la manière ne passe pas. Le mot est donné, « Courage Fuyons ». Se lance alors une course perdue pour migrer rapidement de solution de socle de virtualisation. Ce changement tarifaire est vécu comme un hold up obligeant les organisations à tirer le bras du bandit manchot BROADCOM.

Toutefois pour ma part, je dirai que c’est une excellente chose. VMWare leader sur le marché va par son rachat et la politique de BROADCOM faire évoluer certains acteurs déjà présents sur le marché et faire sortir de l’ombre d’autres acteurs moins connues :

• AHV (Acropolis HyperViseur) de NUTANIX
• HyperV de Microsoft
• Proxmox
• Oracle VM
• RedHat Virtualisation
• Autres Solutions Cloud

D’autres acteurs comme l’éditeur de solution de sauvegarde VEEAM vont mettre l’accent sur des fonctionnalités de migration cross plateforme et prendre en charge certaines solutions (Proxmox dernièrement).

Dans la cacophonie et désordre ambiant, je pense que nous avons tout à gagner au vu de notre problématique de repartir sur un nouveau cluster d’entamer ce virage et d’adopter un cluster sous une solution et un cluster sous VMWare.

L’objectif étant de proposer à des clients qui ne pourraient supporter la hausse significative imposée une solution de replis sans perdre en fonctionnalité tout en gardant le socle de virtualisation VMWare pour les clients contraint d’utiliser ce dernier ou qui souhaite rester sur VMWare.

C’est de mon point de vue l’occasion rêver de s’ouvrir à de nouvelle opportunité commerciale dans notre contexte faisant ainsi une pierre deux coups.

Step 3 : Gouvernances et Stratégies

Mon enthousiasme et vite freiné. Ce qui pour moi semble être une opportunité nécessite une analyse plus réfléchie en interne. On ne parle pas de changer de boulangerie pour aller chercher son pain…

Il faut donc tout revoir et recueillir le besoin et l’existant de chacun des services d’hébergements.

Ma volonté va dans le sens de mon besoin mais l’est-il pour mes collègues ?

En toute franchise, c’est une situation que j’ai beaucoup de mal à accepter. Je vois le temps défilé et n’ait pas de retour sur les directives qui me/nous concernes. Dans l’attente, je constate sur les réseaux sociaux que telles ou telles sociétés à entamer sa migration vers une autre solution de virtualisation. Des grands acteurs jouissent de la situation et présente la hausse d’utilisation de leurs produits. Et moi ? Ba j’attends…

Tu as toujours du mal à gérer ton stress on dirait l’ami ?

Ouai ba j’aime pas l’imprévu et TOUT doit être parfait. Je suis comme ça et je ne m’accorde que peu si ce n’est jamais le droit à l’erreur.

La décision tombera quelques semaines plus tard, nous garderons VMWare. Hors de question de changer de technologies. Il n’y a pas de bonnes ou de mauvaises raisons à ce choix. Cela dépasse mon service et ma vision. Je me dois d’accepter cela c’est la vie (entre nous plus facile à écrire/dire qu’à faire) et j’insiste, je ne suis qu’un engrenage dans cette grande machine. Je n’ai pas du tout la vision globale de tous les éléments. (Là typiquement ça serait/c’est un investissement caprice 🙂 ).

Les réunions avec les autres équipes sont compliquées. J’essaie de défendre l’existant, l’historique et les compétences que nous portons au sein de mon service. Les réunions sont malheureusement souvent improductives car chacun prêche pour sa paroisse ce qui est normal. Pour être objectif, je regrette cette décision et le comportement de chacun à tous les niveaux le mien compris.

Nous avons gaspillé un temps précieux. M’enfin, si je peux me permettre la citation ci-dessous, nous nous devons d’aller de l’avant.

Le passé des uns et des autres éclaire le présent

Dominique STRAUSS-KAHN

Il me sera demandé plus tard de réaliser avec un collègue une cotation pour une infrastructure classique (Serveurs, Réseaux, Stockage) afin de comparer les deux BOMs.

Step 4 : Deuil et Regrets

Tout est dans le titre… La décision sera prise de ne pas reconduire la technologie HCI. Notre infrastructure sera migrée vers une infrastructure standard. Les gros poissons mangent les petits non ?

Ne soit pas si nihiliste, c’est un choix et c’est comme ça. Accepte et avance qu’est ce que tu as à perdre ? (le moi du futur qui s’adresse au gars du moment)

Je suis amer et plein de regret à ce moment là. Je rappelle à tous mes responsables que nous sommes en retard au vu des échéances. Que le changement de technologies n’est pas sans conséquences pour nous car nous n’avons pas toutes les compétences pour répondre dans les temps. La crainte de l’imprévu et la peur de ne plus tout maitriser me font grossir le trait. Oui c’est le cas mais j’ai peut-être un peu trop exagéré.

Ce n’est pas grave. La compétence est présence au sein de l’organisation. Nos collègues nous assisterons et nous transférons leurs compétences. D’un côté nous ne sommes pas c*n non plus, ça devrait se faire sans problème. Par contre pour débloquer la commande du matériel, je me souviens malgré les regards noirs de ma compagne avoir confirmé les BOMs durant mes congés (je suis c*n sur ce coup là et il m’arrive encore de me surpasser. Mais elle sait que quand le sujet me prend aux tripes rien ne m’arrête).

Je commence le deuil de mon infrastructure que j’accompagne doucement vers une fin de vie maintenant actée. Laissons le temps faire son office et il me faut accepter de revenir en arrière vers une technologie sur le papier moins performantes.

Bref, le matériel est commandé. Il nous faut attendre la réception de ce dernier. Une pause de plusieurs semaines débute.

Step 5 : Logistique, Madame IRMA et plan d’attaque

Dans l’attente de la réception des différents équipements je m’attèle dans la théorie à l’établissement de l’architecture du futur système d’information.

Je me souviens avoir dessiné sur le tableau blanc, les vitres de mon bureau l’architecture actuel et à venir. Avoir fait, défait les connexions inscrites des gros mots comme LAG¹⁴, MLAG¹⁵ , MAC¹⁶… Le quotidien d’un architecte en somme. J’en ai usé de la semelle !

Pourquoi ce comportement ? Et surtout pourquoi avoir fait seul dans ton coin ? L’esprit de cohésion et d’équipe tu en fais quoi ?

Difficile dans les périodes de congés de déranger les acteurs sans avoir de concret. La nature anxieuse de ma personne souhaite avec une boulimie monstrueuse rattraper le temps perdu et d’avoir le plan parfait pour réaliser la migration dans les échéances imposées par l’EOL et qui devient une affaire personnelle.

Après les divers congés de chacun, j’échange avec mon collègue des fruits de ma réflexion. Nous réaliserons quelques adaptations et suggestions à mon infrastructure et paramétrage. Oui j’ai avancé seul pour gagner du temps, mais pas dans l’objectif d’exclure mon équipe.

Je me souviens du jour où nous avons reçu le matériel. J’ai dit à mon responsable,

« Nous ne sommes pas à l’abris que dans les équipements livrés, nous ayons un problème sur l’un d’entre eux. Tiens pourquoi pas un dysfonctionnement de la baie de stockage ? »

A croire que j’ai un don 🙂 j’en rigole maintenant. Gardons le meilleur pour ce qui va suivre…

L’organisation de la logistique pour réaliser la livraison du matériel en temps normal d’un point A à un point B par un transporteur n’est pas simple. Après un dialogue de sourd avec la société de transport, nous arrivons à faire livrer nos équipements sur site et j’insiste la commande est complète et en parfaite état. 🙂

Nous commençons à organiser les premières réunions inter équipes pour définir la répartition des tâches ainsi qu’un rétroplanning. Sur le papier ça à de la gue***e. Mais comme tous projets et rétroplanning tous secteurs d’activités confondu, et ba c’est de la m***e et ça ne se passe jamais comme prévu.

Step 6 : Unboxing, Installation, Configuration et … Surprise

Comment vous expliquer le sentiment de ce moment ? Imaginez deux gosses à Noël. Ba vous y êtes mais avec une certaine pudeur s’interdisant d’exalter son excitation 🙂

L’installation des équipements de calcul (nodes), des équipements réseaux et de la baie de stockage nous prends la journée. La configuration de la partie réseau est poussé sur les nouveaux équipements réseaux. Aimant la compétition, j’avais demandé à mon collègue de réaliser la configuration des équipements réseaux en théorie et de charger la configuration lors de l’installation. Juste quelques erreurs et ajustement mais rien nuisant au fonctionnement.

Fin de la première journée, nous nous réservons la seconde journée pour réaliser et débuter la configuration de notre baie de stockage et nos ressources de calcul.

Nous attaquons selon l’organisation établie la configuration des équipements. Mon collègue les ressources de calculs et personnellement la partie stockage. Le hic, c’est que j’avais prophétisé une anomalie et il me fallait la réaliser.

Lors de l’initialisation de la baie de stockage, nous n’avons pas le comportement attendu dans le guide d’installation. Nous tentons de lancer la configuration tout de même… rien.

Nous ouvrons une demande d’assistance auprès du constructeur. Une intervention à distance est planifiée le lendemain. Pas de problème nous sommes sur site. A ma grande surprise, je n’ai jamais eu chez ce constructeur une première assistance en anglais (cela ne me pose pas de problème mais d’habitude sur d’autres gammes de produits les interlocuteurs sont francophones). Nous sommes leurs petites mains et suivons les instructions. L’intervenante nous informe que notre équipement n’est pas dans un état normal et que ce dernier à une image de LAB, de test en guise de SE¹⁷ en lieu et place d’une image STANDARD. Là je me fends la gu***e car on ne me l’avait jamais faite celle là.

Ce n’est pas grave, car nous pouvons restaurer l’image standard en whipant le système. Ok pourquoi pas…………………………………………………………………………………………………………………………………………………………………….It’s so long no ?……………………………………Ja, please can you start an hard reboot please?………………….Of course…………………………………………………………………………………

Je pense que c’est le reboot que l’IOM n’a pas aimé. Bon, la pauvre technicienne n’y est pour rien. Elle a suivi la procédure et ça n’a pas fonctionné. Nous planifions une nouvelle intervention pour le lendemain avec le niveau d’assistance supérieure. Oui ça arrive. Mais croyez-moi ce n’est que le début héhéhéhé 🙂 [c’est marrant de refaire le film car à ce moment là je pestais de mon infortune].

Mon intuition me pousse à redéfinir les tâches pour ne pas perdre plus de temps. Et pour une fois j’ai pris la bonne décision. J’ai décidé de prendre en charge la résolution de la panne avec le constructeur et laissé mon collègue sur la partie paramétrage des ressources de calcul avec les équipes distantes. Je suis amer car je souhaitais que nous fassions toutes les configurations ensemble. Mais d’une autre manière cela nous permettra de faire des ateliers de transfert de connaissance et d’ajuster nos bonnes pratiques.

De toute façon, rien ne nous empêche de réaliser la partie ressource de calcul (ESX) en attendant que le stockage soit disponible ? Pour la suite, je ne traiterai que de la partie stockage.

Step 7 : Plan A, Plan B, Plan C… (encore 23 lettres possible)

A la suite de l’intervention initiale, qui fut malheureusement un échec. Au vu des circonstances nous planifions un nouveau rendez vous distant avec le niveau supérieur de diagnostic. Pour faciliter l’intervention, nous nous déplaçons une nouvelle fois sur site (pas loin d’unlock le succès bronze « Grand Voyageur » sur STEAM).

L’ensemble des informations étant recueillis, l’ingénieur en charge de notre case nous informe qu’il faut dépêcher un technicien constructeur sur site pour réaliser les actions. La date est définie.

Plan A : Réimage depuis un média amovible

J’ai bien compris la chose. Je ne serai que la petite main sur site et doit tout faire pour satisfaire le technicien sur site pour réaliser les opérations distantes de l’ingénieur. C’est parti pour un nouveau déplacement (sans me plaindre, à titre d’information c’est 3h30 de trajet à chaque intervention sur site).

Le technicien arrive sur site et nous démarrons la réunion en début fin de matinée. La naïveté qui m’habite voulait qu’on résolve l’incident rapidement, je n’ai donc pas de déjeuner et n’aurait pas l’occasion de déjeuner. POWNED

Après un rapide topo au technicien, nous démarrons le meeting avec le support. Je comprends que la panne que nous avons n’est pas une panne normale.

En face il y a :

• Deux Global Escalation Manager
• L’ingénieur en charge de notre case
• Le technicien qui est intervenu
• Un ingénieur R&D¹⁸

L’ingénieur nous explique que nous allons réimager le SE de la baie à travers une image que nous pousserons par le port série depuis un média amovible depuis un media linux. Je me souviens avoir demandé au technicien s’il avait les sources nécessaires. Non, il va devoir les télécharger, la procédure ne lui a pas été communiquée en amont. Au vu de la criticité du dysfonctionnement et de l’intervention de dernière minute cela ne me choque pas. L’information n’a pas eu le temps de suivre.

Pour la faire simple cela nous prend une bonne partie de l’après-midi pour télécharger et générer les images bootable. Nous attaquons les opérations sur l’équipement. L’opération devient complexe. Bien que suivant les instructions le port série se joue « On me voit, On me voit plus. On me voit plus, On me voit. » Difficile de transmettre quelques fichiers… Finalement nous stabilisons la connexion (les planètes doivent être alignés ! Super). Malheureusement, le transfert échoue à plusieurs reprises le SE de l’IOM¹⁹ par sécurité fermant les ports d’échanges.

L’ensemble de l’équipe me présente leurs excuses sincères devant cet échec. Nous ne sommes plus dans les procédures connues. Un nouvel ingénieur R&D rentre dans la conversation pour obtenir un nouvel avis ainsi que de nouvelle idée. Le meeting dure depuis 7 heures. 7 heures d’anglais dans le bruit d’un DC²⁰, ça fatigue… Il nous est alors proposé de réimagé le média USB pour éliminer un dysfonctionnement côté poste client. Vous me croyez si la clé USB du technicien a rendu l’âme sous mes yeux…

Nous décidons d’un commun accord de définir une nouvelle intervention. L’ingénieur R&D propose de réimager la baie ainsi que les deux IOMs avec un IOM déjà imagé. Problème, il faut trouver un contrôleur imagé disponible en Europe… Etrangement on ne trouve pas de contrôleur sous les sabots d’un cheval… Dans l’attente de trouver THE contrôleur, avant de nous quitter, l’ingénieur en charge de notre dossier anticipe les opérations suggérées en récupérant les fichiers de configuration nécessaire. Nous nous quittons.

Plan B : IOM…mais pas imagé

Les échanges mails qui suivent le lendemain nous informe qu’un contrôleur a été trouvé et est expédié en taxi et sera disponible le lendemain matin. Un nouveau technicien sera dépêché sur site.

C’est parti pour une nouvelle intervention sur site…

La journée commençait mal. L’aire de repose où nous pennons notre café matinal puait l’urine, la machine en panne et il pleuvait des chats et des chiens… Ca en dit long sur la journée…

Nous réceptionnons le colis qui n’était pas à la bonne adresse heureusement qu’il y a le téléphone. Je suis toutefois embêté car le colis ne me semble pas une pièce de production mais une pièce de spare. Après vérification, l’information c’est perdu en EUROPE. La pièce en provenance des pays bas est bien la bonne mais pas dans l’état attendu. L’IOM est vierge.

Nous échangeons avec les Globals Escalations Managers et demandent de reporter l’intervention et de l’annuler. Ils sont de nouveau désolés de la situation et vont faire le nécessaire pour trouver la bonne pièce.

C’est un retour au bercail.

Plan C : IOM, Papier Bitte Zolldienst !

Après avoir rendu plusieurs comptes en interne sur la situation kafkaïenne que nous subissons mon chef se refuse de croire à ma malchance. Enfin, je continu d’échanger avec l’ensemble des personnes en charge de notre dossier.

Finalement au bout de quelques jours, un IOM a été trouvé et imagé en plus. Cependant il vient de Suisse.

Tu as quelques choses contre la Suisse ?

Absolument rien. Ne nous fâchons pas. C’est juste que ce pays ne fait pas parti de l’espace Schengen… Cela veut donc dire douane…

Ce qui est admirable de nos jours c’est qu’il est possible de suivre un colis durant son cycle d’acheminement. Là, je vois que notre colis est à la frontière française, mais bloqué en douane pour des raisons administratives. Rien de déconnant.

Il m’est alors demandé de fournir les éléments administratifs pour obtenir le sauf conduit A38 à la compagnie de transport.

Plus sérieusement :

• Facture
• Numéro de TVA²¹ et SIRET²²
• Numéro EORI²³

Pour le numéro de TVA et SIRET, un petit coup de societe.com et le tour est joué. Toutefois pour la facture c’est plus pénible car c’est une pièce de spare et cela concerne uniquement le constructeur. Je me dis que ce dernier est transmis donc osef, sur un mal entendu ça va passer (mais qu’il est naïf le garçon).

L’employé en charge de notre colis chez le transporteur, accuse réception des éléments et ne me répond que le lendemain. C’est incomplet, je n’ai pas le N° EORI. Je trouve la personne gonflé, 1 jour pour me dire qu’il manque une pièce qui pour le coup ne me parlait pas et je pensais que c’était à l’expéditeur de fournir. Passons. Après un échange téléphonique, la personne m’indique travailler de 03h00 AM à 11h30 AM. Je comprends mieux la situation.

Mais alors qu’est ce qu’un numéro EORI ?

Le numéro EORI (Economic Operator Registration and Identification) est un numéro d’identification unique en matière douanière, obligatoire depuis le 1^er janvier 2017 dans l’UE. Il est nécessaire pour les formalités à l’importation et à l’exportation (hors Union européenne).

Il est essentiellement utilisé dans les télé-procédures (déclarations électroniques) liées au dédouanement des marchandises¹

Les États membres ont mis en place un dispositif permettant de sécuriser les échanges commerciaux entrant et sortant de l’Union européenne. Une base de données communautaire, permettant d’identifier, au moyen d’un numéro unique, chaque opérateur économique ayant des relations avec les administrations douanières de l’Union européenne (UE), ou exerçant des activités couvertes par la législation douanière.

Wikipédia

Cela ne m’avance pas trop. Je me rapproche donc de notre service Administratif et Financier pour voir un peu plus clair à mon affaire et obtenir THE SESAME.

Chou blanc pour le coup. Ce document n’est pas connu et à juste titre nous ne faisons pas d’export/import. Alors c’est bien beau de savoir ce qu’est un N° EORI mais comment l’obtenir ? Là c’est sur le site des douanes françaises qu’il va falloir œuvrer.

Voyez vous à titre personnel, la paperasse ne me gêne pas. Mais dans ce genre de situation inconnue se pose toujours la question par où commencer les démarches ? Hé bien en ligne vu que nous avons fait le choix pour quelques économies publiques de réduire le nombre de fonctionnaire et donc de douanier. Perdu et sans réel logique, souhaitant juste obtenir mon p****n d’IOM dans mon DC je vais remplir le formulaire mais avec les mauvaises informations… Je déclare le siège de la société dans le département où se trouve notre datacenter et non pas où est enregistré la région où est inscrite la société… Je me suis foutu tout seul comme un grand dans le cas du laissé passer A38.

Nous avons la fâcheuse manie (qui fait notre réputation nationale) de critiquer en permanence tout et rien mais surtout nos institutions publiques et bien sachez que les divers bureaux de douanes et agents que j’ai pu avoir son d’une gentillesse et efficacité remarquable. Je me souviens avoir contacté 10 bureaux de douanes différents j’ai eu un nombre de ligne directe pour joindre les agents… Ma situation a été prise en charge et j’ai pu obtenir en moins de 4 heures le numéro EORI au nom de la société. Je dis toujours à mes enfants qu’avec la politesse nous arrivons à tout et bien plus encore. Là ce fut le cas. Je remercie encore toutes les personnes des services des douanes.

Revenons à nos moutons. J’ai tous les documents administratifs en ma possession. Je retourne en début d’après midi lesdits éléments au poste frontière du transporteur. Ah mais oui c’est vrai que la personne en charge de mon dossier ne travaille pas après 11h30 AM. J’appelle le service concerné me disant qu’une entreprise de cette envergure à bien une continuité de service. C’est je crois l’une des grosses erreurs quand j’ai fait sur ce dossier. La personne au téléphone me fait comprendre qu’elle ne veut pas traiter car ce n’est pas son dossier et que sa journée et presque terminée. Je sors mon numéro de politesse combo dramatique je risque gros car j’ai fait une boulette dans mon boulot (pas vrai mais bon).

La fin justifie les moyens, j’en ai plus rien à f*****e je veux décoincer la situation.

Elle accepte finalement avec une nonchalance à faire pâlir un ouzbek. Me voilà rassurer. Je laisse la journée courir, satisfait du devoir accomplie.

Quelques heures plus tard, l’intuition peut-être je suis pris de doutes entre minuit et 03:00 AM. Je ne dors pas et scroll mon téléphone en permanence. J’ai le sentiment que je vais me faire emboucaner.

GAGNE !

Un mail tombe du type chez le transporteur qui gère notre affaire. Pas content que nous n’ayons pas été patient et de l’avoir bypassé. Nous voilà dans un excès de zèle, la facture transmise par le fabriquant a bien le bon montant que sur la déclaration, mais pas la bonne devise.

Excès de zèle tu y vas un peu fort non ?

Vous n’allez pas me dire qu’il ne l’avait pas vu avant et qu’il ne pouvait pas le dire ? Manque de bol, je suis chaud bouillant. Qu’est que je fais à 04:00 du mat ? Je l’appel sur sa ligne direct mobile. Il ignore mes multiples appels. Là ça me soule. Nous échangeons par mail. Un match genre NADAL, DJOKOVIC. C’est lunaire. Bref, nous passons de deux personnes dans le mail à au moins 12. L’ensemble des personnes qui traitent notre incident chez le constructeur rentre dans la boucle ainsi que tous les acteurs chez nous du technicien au directeur. Un bon vieux Royal Rumble des familles mais sans Hulk Hogan. Même avec la bonne facture ça n’allait pas. Le reste, c’est l’éditeur qui a géré. Le colis est parti quelques heures après avec l’assurance d’être livré le lendemain dans la matinée. Nous profitons donc de ce temps pour planifier une nouvelle intervention avec un technicien du constructeur.

Ce que je retiendrai. Transporteur à fuir. Je ne donnerai pas le nom mais je suis frustré de ce qui s’est passé.

Le lendemain, je monte en catastrophe pour m’assurer que le colis sera bien réceptionné j’ai encore le sentiment qu’il va y avoir un problème. Je vous le donne dans le mille, il y a de nouveau plusieurs problèmes :

• J’oublie mes accréditations dans ma veste de costume. Soit obligé de faire demi-tour sur le trajet. Heureusement je n’étais pas bien loin.
• Je préviens notre fournisseur et hébergeur de la venu d’un colis par transporteur. Que ce dernier doit être accepté. Pas de problème.
• Le livreur qui a du avoir des instructions me contacte pour m’informer de la livraison et s’assurer que quelqu’un va le récupérer. Je lui confirme et s’il y a un problème il me recontacte, le colis DOIT être livré. Il me rappel cinq minutes après m’informant que le colis est refusé par le quai de livraison. Je lui demande de me passer l’agent et lui confirme que je suis en route pour le DC, lui donne le pedigree du colis et lui demande d’accusé réception de notre colis.

Enfin, l’IOM est sur site.

L’intervention qui suivra et qui durera plus de 5 heures ne donnera rien de mieux et laisse perplexe l’ingénieur en charge de notre dossier ainsi que les équipes R&D. Le technicien sur site me confirme également qu’il n’a jamais assisté à autant de personne dans une résolution d’incident. Les gros mots sont lâchés « Pénalités financières, Non respect des SLAs²⁴ etc ». Moi je m’en br****e complétement. Je ne veux pas que cela impact les équipes techniques et notre résolution de l’incident.

Bref, nous nous quittons encore une fois, les équipes désolés de la situation face à ce dysfonctionnement où nous sommes maintenant les seuls à avoir la panne au monde. Ca me fait b*****r un truc de fou de savoir ça. A tort ou à raison, cela fait de nous l’exception, la perle rare dans un sens.

Le global escalation manager en charge de notre dossier nous informe d’attendre sa venue aux premières lueurs du cinquième jour. A l’aube, regarder à l’est…

Step 8 : Resurrection by Erection and Migration

Vous l’avez compris, le titre et la transition de la partie précédente marque dans cette huitième étape la fin de notre péripétie digne d’Ulysse rentrant chez lui.

Les échanges 3 jours après la dernière intervention nous informe que cette fois ci ça sera la bonne. L’ensemble de nos erreurs ont été reproduite en LAB par les équipes R&D. Etrangement je crois cette fois que ça fonctionner. J’en suis convaincu.

Pour mettre toutes les chances de notre côté, nous interviendrons avec mon collègue. Les réunions de plusieurs heures à genoux dans le bruit et dans une langue autre que sa langue natale ça fatigue en fin de journée.

L’ingénieur en charge de notre dossier nous informe que c’est de loin le case le plus compliqué qu’il ait dû traiter depuis qu’il travaille là bas. Vous savez qu’un traitement d’incident se passe bien et dans la douleur pour tout le monde quand vous commencez par être familier avec les interlocuteurs en les appelant par leurs noms et en échangeant sur des sujets personnels pour tuer le temps d’initialisation enclenché par le système.

Après 5 heures d’intervention où le plus difficile reste l’intervention à distance suite à l’inversion des claviers AZERTY <-> QWERTY (US) tout est fonctionnel et nous avons initialisé notre baie.

J’ai remercié les équipes et chaque intervenant oralement et par mail. La situation a été difficile mais le respect et le sang froid nous a permis de traverser toutes ces péripéties. Toutefois et encore résigné des aspects logistiques ma lâcheté à fait que les deux IOMs qui ont été livré sont repartie avec le technicien 🙂 Croyez moi c’est mieux comme ça.

Une semaine après l’initialisation de la baie, nous migrions l’intégralité de notre infrastructure de production sur deux jours vers la nouvelle infrastructure sans une interruption de service. Nous avons respecté l’intégralité du plan malgré l’ensemble des aléas chaotiques que nous avons pu contracter. Mon seul regret sera de ne pas avoir tenu l’échéance initiale de migration et d’avoir dépassé cette dernière de 29 jours.

Conclusion

Ce projet ainsi que cet épisode a été assez marquant. J’en veux pour preuve, il est facile de constater que ce papier a été rédigé en plusieurs fois. Une partie trop proche des événements sans recul et discernements et à l’inverse un détachement et une légèreté plus désinvolte. Mais cela reflète au mieux la réalité dans un sens et c’est ce qui se rapproche le plus d’une autobiographie non ?

J’ai toujours été décisionnaire jusqu’à présent et dans un sens maitre et responsable de mon infrastructure. Le fait d’être bousculé et challengé sur le matériel, l’activité et la manière de faire m’ont poussé de part mon fort caractère à me mettre en opposition à toutes les décisions d’équipes extérieur à mon service. Il est plus facile de dire « accepte’ que de le faire et donc d’accepter. J’ai pour le coup été beaucoup dans la résignation et à tort.

Si je dresse le procès de la direction quant à sa vision stratégique dans la transition, je me dois alors de dresser mon propre procès. Et heureusement ce n’est pas le cas et ça ne le sera pas.

Pourquoi ? Parce que cela n’est pas constructif et cela n’apporte que désordre et entropie.

J’ai beaucoup appris sur moi-même notamment sur des aspects et capacités dont j’ignorais l’acquisition. Je me souviens par exemple qu’un collaborateur m’ait dit

Arrête de dire que tu as la poisse, ce n’est pas vrai c’est parce que tu le crois

Un collaborateur anonyme

D’avoir joué encore une fois les cassandres et cela nous ayant fortement impactés m’a également valu une réflexion qui je le pense se voulait innocente mais qui avec la fatigue et trop de recul dans le contexte de frustration de changement de solution m’a beaucoup affecté.

C’est pas possible qu’ils n’arrivent pas à résoudre la panne. Tu as fait un truc à la baie lors de l’installation

Une personne

Faut il comprendre par là que j’aurai volontairement fait acte de sabotage ?

Le voilà reparti dans sa paranoïa…

Je préfère me dire que c’était maladroit et que j’ai surinterprété. Naturellement tiré hors de son contexte, cela peut paraitre choquant et je ne tiens pas à développer ou non la question.

J’ai compris une nouvelle fois qu’il est indispensable de ne pas s’énerver avec les fournisseurs et prestataire face à la situation. Cela pour garder une bonne synergie dans la résolution de l’incident et eux sont ils responsables ? Non il faut leur boulot comme nous. Alors à quoi bon être désagréable ? Pour avoir le commentaire côté client « Attention client grossier et inhumain » ?

Je pense que dans la situation que nous avons rencontrés il est important de dissocier la résolution technique et l’aspect financier lié par le dénominateur commun de l’incident.

De manière plus concrète et pour en revenir à l’aspect technique du projet, nous avons réussi un tour de force en démontrant que nous étions capables de réaliser un projet d’une telle envergure dans un temps record en maitrisant le risque et l’impact et ceux malgré les aléas. Si lors de la phase d’étude il y a pu avoir des doutes sur nos compétences techniques, managériales projets ou humaines. Nous avons su montrer que nous avions les épaules assez larges. Il est vrai que lorsqu’il n’y a pas de données de production en jeu cela facilite grandement les choses. Or quand vous savez qu’un risque subsiste sur l’infrastructure qui doit être migré, croyez moi vous faite le nécessaire.

Et alors ton infrastructure actuelle STDI et plus ou moins performantes que ton ancienne infrastructure HCI ?

Excellente question, pour laquelle je répondrai je ne sais pas et je ne me prononcerai pas. La raison étant « Comment comparer ce qui n’est pas comparable ? »

• Stockage hybride (mélange de HDD et SSD) et de l’autre un stockage full NVMe
• Réseau en SFP+ ²⁵(10Gbps) contre un réseau SFP28²⁶ (25Gbps)
• Processeurs de générations différentes
• Mémoire en DDR4²⁷ contre DDR5²⁸

Donc je ne pose pas en le constructeur A est mieux que le constructeur B. Le plus important est et doit rester :

Nos clients ont ils été impacté et sont-ils satisfait ?

La réponse sera oui, personne n’a rien vu (peut être un client avec un éditeur)…

Un des derniers inconvénients de ce genre d’affaire relate des déplacements fréquents et donc du sujet de la restauration. Nous avons nos habitudes et bien de trop mangé au même endroit cela perd de son charme. Quand on commence à connaitre la carte par cœur, ce n’est pas bon signe. Néanmoins, nous pouvons faire des bonnes trouvailles comme mon collègues avec le jarret d’un kilo (petite dédicace à toi collègue).

Nous avons et je conclurai sur ce dernier point, avec mon collègue apprécier travailler en collaboration étroite avec d’autres collègues d’autres agences avec qui nous avons pu mettre à jour nos bonnes pratiques et échanger sur des fonctionnalités peu ou mal connu. Cet accompagnement a été réalisé comme transfert de compétence et non comme une formation sans avoir de jugement de valeur sur les compétences et sur les Hommes.

Bon un petit break maintenant et sans problème on signe de nouveau pour un projet de cette ampleur mais sans le côté pénible 🙂

Le mot de la fin…

Si je vous dis EORI ? L-O-L-I-T-A, moi LOLITA ! Dommage vous avez un problème de devise avec Jean-Eude. Vous pouvez vous refaire avec le super banco ou piocher une carte mauvaise fois. Je vais prendre l’esquimau. Vous avez de la chance il a bien le baton.

Erwan GUILLEMARD

1. CPU : Central Processing Unit ↩︎
2. DIMM : Dual In-line Memory Module ↩︎
3. GEN :Génération ↩︎
4. EOL : End Of Life ↩︎
5. HCI : Hyperconvergence Infrastructures ↩︎
6. TCO : Total Cost Ownership ↩︎
7. STDI : Standard Infrastructure ↩︎
8. BOM : Bill Of Materials ↩︎
9. EOS : End Of Sale ↩︎
10. SSD : Solid State Drive ↩︎
11. HDD : Hard Disk Drive ↩︎
12. NVMe : Non Volatile Memory Express ↩︎
13. ESN : Entreprise de Services Numériques ↩︎
14. LAG : Link Aggregation ↩︎
15. MLAG : Multi Link Aggregation ↩︎
16. MAC : Media Access Control ↩︎
17. SE : Système d’Exploitation ↩︎
18. R&D : Recherche et Développement ↩︎
19. IOM : Controller Node ↩︎
20. DC : Datacenter ↩︎
21. TVA : Taxe Valeur Ajoutée ↩︎
22. SIRET : Système d’Identification du Répertoire des Etablissements ↩︎
23. EORI : Economic Operator Registration and Identification ↩︎
24. SLAs : Service Level Agreement ↩︎
25. SFP+ : Small Form Factor Pluggable (10Gbps) ↩︎
26. SFP28 : Small Form Factor Pluggable (25Gbps) ↩︎
27. DDR4 : Double Data Rate Fourth Generation ↩︎
28. DDR5 : Double Data Rate Fifth Generation ↩︎

Volontairement, aucuns noms, sociétés, marques, lieux et dates ne seront cités.

Contexte et avertissements

A cette époque, je n’étais pas encore diplômé et donc sur la fin de mon alternance. Cette année là il faisait chaud très chaud.

J’ai envie de te dire c’est un peu un leitmotiv de ces dernières années… On croirait entendre ce bon vieux JPP nous annoncer au JT de 13h « Et oui c’est la canicule. Allons voir Ginette et Paul-Edouard dans l’arrière pays niçois nous divulguer leurs secrets. Mon mari tourne au pastis et moi je suce des glaçons. Merci pour ces précieux conseils qui je le crois seront appliqués par de nombreux concitoyens. »

Bref je divague. A ce temps reculé de mes premiers pas de SysAdmin, j’avais en charge deux clients. Une petite organisation de 30 utilisateurs et une grande organisation de 160 utilisateurs. C’est pas mal pour commencer et faire ces armes. Un peu stressant car les jeunes loups qui sortent de l’école veulent montrer à leurs ainés qu’ils sont à la hauteur des responsabilités qui leurs sont confiées.

C’est ainsi que du statuts « J’ai pas de vie, je suis étudiant en informatique » je suis passé à (Attention, la phrase qui va suivre va vous demander un profonde inspiration. Cette dernière doit être lu rapidement à la manière de tous les influenceurs des années 2024) « J’ai pas de vie, je suis étudiant qui rédige un mémoire en insertion professionnelle en attente de valider mon cursus universitaire toute en continuant de me griller les neurones sur les pixels de jeu vidéo et les soirées karaokés à m’enfiler des picons bières et des Gins Tonics« . CHEH !

C’est comme ça que j’ai pu atteindre des performances qui rentre toujours dans le top 10 de mes plus beaux états éthyliques.

Je reprends donc où j’en étais. Le côté pile « professionnel » de ma vie étant posé, passons au côté face « personnel ».

Il est difficile pour un étudiant dans une petite ville qu’il ne connait pas de faire des connaissances et encore plus quand il est en étude d’informatique. C’est partir direct avec un malus de -10% dans une conversation où faire un échec critique dans Dungeons & Dragons en montant des escaliers.

Je me suis alors tourné vers la technique de nos aïeux pour « courir la fille » et pas finir « vieux gars ». J’ai fait les petites annonces du Journal de Saône et Loire. J’ai été peut-être été un peu ambitieux et optimiste… Je me suis tourné vers les petits annonces du Chasseur Français. Là encore, c’est en regardant la date de parution des magazines que j’avais posé des lapins ou qu’on ne m’avait pas attendu… Heureusement, l’essor de l’INTERNET des INTERNET à vu évoluer une multitudes de nouveau Chasseur Français version 2.0. 🙂 (Il raconte sa life, mais on s’en fout. Ce qui il y a 20 ans pouvait se traduire par RTL, OSEF).

Maintenant que nous avons bien décrit les deux faces de notre pièce. Faisons tourner cette dernière sur la tranche.

Difficile alors à notre pièce de trouver un équilibre entre vie professionnelle et personnelle. Voilà le piège des jeunes qui n’en veulent trop. Ne plus savoir comment positionner ce curseur et donc terminer comme A320 F-GGED sur le mont Saint-Odile. Je reviendrai plus tard sur ce point.

H-10h00 : Journée de rêve (avant THE DATE)

Ce jour là, un vendredi de Juin (sinon ce n’est pas drôle). J’étais tout content car j’avais rencard en début de soirée avec une jeune et charmante demoiselle. La journée se passait à merveille, entre impatience et angoisse de la première rencontre.

Je vous ai déjà dit que j’étais un p****n de chat noir ? Vous l’voyez venir l’élément perturbateur ?

H-02h30 : Combo-breaker de rêve (avant THE DATE)

15h30, notre centre de service m’informe que mon petit client ne peut plus ouvrir ces fichiers. L’ensemble de ces derniers ont une extension bizarre… Ce qui semblait être une bonne journée commençait à tourner mal. Un peu comme un novice qui s’improvise derviche tourneur soit ça passe ou ça termine en festival de gerbe…

Comme disait Monsieur le frère du roi, le supplice du pal est un jeu qui commence si bien et qui finit si mal

Angélique et le Roy, en parlant de Philippe d’Orléans

Après une courte investigation, j’ai un crypto le jour de mon date… Je sais que je suis marron. Ce n’est pas le genre d’incident qui se solde en 1 heure et il faut agir vite. C’est un incident critique. Encore une fois, je ne suis pas seul et mon supérieur de l’époque me donne un coup de main.

Nous isolons donc le serveur du réseau, identifions la session et donc le poste de l’utilisatrice qui a initié le chiffrement des données.

A cet instant, il est important je pense de le signaler, nous étions au tout début de ce type de virus. Les mécanismes étaient donc moins sophistiqués que les virus que nous rencontrons de nos jours. Il suffisait donc de regarder le propriétaire des documents fraichement chiffrés pour connaitre le patient zéro. En somme un Cluedo contemporain pour les SysAdmins.

Bon et maintenant que le poste de l’utilisatrice est éteint, que le serveur de fichiers est isolé du réseau et que tous les utilisateurs de mon clients sont en week-end forcés, K’est Ce K’On Fait ?

H-01h30 : Good Luck & Have Fun (avant THE DATE)

Mon supérieur m’invite gentiment à 16h30 d’aller consulter notre Direction Technique. Le week end de mon directeur régional va commencer et un impératif ne lui permet pas de rester. Ne jugez pas trop vite son comportement, VOUS lecteur ! Je n’ai jamais eu de reproche à son égard quant à cet incident et il a choisit de faire tomber la pièce côté perso plutôt que du côté pro. Et honnêtement, qu’est ce qu’il aurait fait de plus à part me regarder et attendre ? Réponse, rien.

Effectivement, la seule solution viable et de m’en remettre aux mains et savoir de notre « expert » technique. (Pourquoi des guillemets autour du terme expert ? Cette personne ne s’est jamais considéré comme expert, mais ces compétences et savoir ont fait de lui lorsque nous travaillons ensemble le référent de tous les projets et situations critiques. Je le gratifie donc d’expert #coeuraveclesmains si tu te reconnais et que tu lis cet article).

Je vais donc voir ce collègue, qui n’est pas emballé par la chose car c’est en fin de journée et que c’est le week end blablablabla. Comportement normal. Mais c’est le sens du service qui prime. De mon côté, l’heure tourne et il y a mon rendez-vous galant… Intérieurement, je me demande si ça passe le coup du SMS « Salut, je peux pas venir j’ai un crypto, j’en ai pour le week end. On reporte ? » #lol #xptdr #pdr #looser

Mon collègue m’informe qu’avant toutes choses, il faut s’assurer de savoir comment le chiffrement a eu lieu, quand etc. Est ce réversible ? Ma sauvegarde est elle viable ? Il me pose une tonne de question. Je veux juste répondre « J’ai un date à 18h00… » mais je ne dis rien.

Les informations que je dispose à ce moment sont :

• Le virus semble venir d’une navigation web ou d’un email
• Le reste du SI n’est pas impacté
• La première analyse antivirus sur les serveurs n’ayant rien trouvé sur les autres serveurs
• Les droits et permissions sur le serveur de fichiers sont bien fait, mais trop permissif, l’ensemble des répertoires sont touchés. Hormis quelques répertoires type Directions, Comptabilités.
• Le serveur est isolé, le poste fixe éteint.

H-00h10 : Négociations et Accord de Charnay (avant THE DATE)

17h50, il me dit (en soupirant) « Bon, il faut restaurer depuis la sauvegarde l’intégralité du serveur en parallèle de la production. Faire l’analyse afin de s’assurer que cela ne va pas chiffrer de nouveau l’ensemble des données. Va te chercher une chaise ». Là je n’en peux plus et je lui explique que je ne peux pas. Je vous laisse imaginer la situation.

MON client rencontre un incident critique, JE demande de l’aide auprès d’un autre service pour me sortir de cette mauvaise passe. Le collègue qui me porte assistance et à qui le début de weekend est foutu vient de se prendre un royal NON JE NE PEUX PAS J’AI UN DATE.

Il ne veut pas, je ne veux pas. Il voit vite que cela compte beaucoup. Nous finissons par trouver un terrain d’entente et comme à Téhéran en 1943, nous concluons à une accord.

Il va continuer l’analyse et lancer la restauration du serveur. Je prendrai la suite après mon date et je me tiens disponible par téléphone toute la soirée et le week end. Je le remercie chaudement (et le remercie toujours d’ailleurs) sauf qu’il est 18h05 et je suis encore au boulot…

H+00h05 : Je suis l’aigle de la route (en retard pour THE DATE)

Je saute dans mon bolide, une MITO à l’époque. Et me magne de me rendre au point de chute, euh disons plutôt rendez-vous. L’intérieur de l’habitacle est brulant. Je sens mon parfum tellement je suis en nage… Je suis en sueur comme Mel GIBSON dans MAD MAX avant de monter dans les tours. (Dommage, le film a mal vieillit. D’ailleurs, savez vous que la mort d’un des cascadeurs est filmé et diffusé (à 1:15) ?)

H+00h15 : C’est pas moi c’est le crypto (à l’heure du V&B pour THE DATE)

J’arrive à mon rendez-vous à 18h15. Je suis en sueur car avec la canicule il fait pas loin des 40°C et pour plaire j’ai mis mon plus beau polo du stade toulousain à manches longues (oui je ne suis pas le SysAdmin le plus riche en CPU). Je présente mes excuses pour le retard à cette charmante jeune femme qui patiente depuis 15 minutes devant le bar/taverne et qui pensait avoir pris un lapin.

Je lui explique la situation et je crois qu’elle n’a toujours pas compris car je ne me suis même pas compris moi-même. Mais bon j’étais là (et ton collègue en train de taffer co****d BOUH BOUH BOUH ! Jetez lui des petits cailloux bien aiguisés !)

Nous entrons dans le bar, commandons deux pintes de GUINESS et…

Objection Monsieur Le Président, mon client ici dans cet article n’a pas a donner plus de précision sur ce moment car cela n’apporte pas d’élément concret à l’incident d’infrastructure rencontré.

Objection accordée

Nous décidons après le verre/les verres [rayer la mention inutile], de ne faire qu’une voiture et d’aller chercher de quoi diner. Au vu des températures, nous avions décidé de manger aux bords d’un lac. (Bonne idée pour les moustiques, je suis comme un tireuse à bière dans un festival de métal). Nous prenons donc The Italian Bolid.

H+04h42 : Ras Le Bol, Mosquitos et burger (THE DATE)

En nous rendant au lac, un appel entrant. Il est 22h42 (c’est marrant nous retrouvons toujours la réponse à la vie dans les grands moments). Je me souviens des premiers mots de mon collègue qui ne sait pas que je ne suis pas seul dans le véhicule.

« Euh j’en ai plein le cul ! Ton serveur est volumineux et ça prend trop de temps. Tu dois avoir un goulot d’étranglement sur ton réseau, mais c’est en cours…. »

Il me donne les consignes et fin de l’appel. Franchement, l’appel tombe à pic et montre que je ne suis pas un myto au volant de ma MITO (rime riche, tu peux te cacher Francis LALANE).

Le pourquoi du comment des problèmes liés à la restauration de la sauvegarde sont justifiés par deux choses.

• Nous avions convenu au vu de la situation et de l’analyse réalisée en amont, que nous devions tout de même sauvegarder le SI.
• L’équipement servant de repository n’était pas sur un switch d’infrastructure mais de distribution.

La sauvegarde était passée et la restauration en cours, dans tous les cas je devais attendre et je n’avais rien à faire d’autre.

Ensuite, nous asadasjkbirugruebgk eurnjunqjsdnjq juqsnhjnqkljnqs bbbzzzzz zbzzbbzbzbbzbbz

H+10h00 : Fin du Bal, on ferme ! (End of THE DATE)

Samedi, 04 heures du matin, la sauvegarde est toujours en cours de restauration. Elle devrait se terminer d’ici quelques heures. Je pars donc me coucher. La douce est merveilleuse jeune femme est rentrée chez elle il y a quelques heures déjà.

Il ne reste plus qu’à être Patient…

H+14h30 : Contorsionniste et grosse fatique (Dream of new DATE)

4 Heures et plus ou moins 30 minutes plus tard, (soit 8h30) le serveur restauré est sous tension et l’analyse reprend. J’ai tellement la tête dans le c*l que je pourrai être contorsionniste au cirque PINDER.

Je ne note pas d’anomalie dans les journaux d’événements du serveur (c’est marrant j’ai encore le nom de celui-ci en tête ainsi que de ça volumétrie juste pour les datas) et aucune extension bizarre n’est présente. L’incident est donc résolu.

J’attends tout de même quelques heures avant de contacter mon collègue. Je l’ai remercié chaudement pour les actions réalisées la veille ainsi que de m’avoir permis d’assurer ma rencontre avec ELLE. Sans suivra ensuite les communications aux utilisateurs ainsi qu’au client sans oublier les communications internes. Dans ce genre d’incident la communication est la pierre angulaire et le liant vers le succès.

Mon responsable du moment à la formule suivante

La communication nous devons la maitriser et non la subir

Un directeur d’agence qui se reconnaitra

C’est cette dernière qui rappelle ce pourquoi telle ESN fait la différence avec une autre.

Je passe le reste du week end tranquille. J’ai finalement atteint mes objectifs personnels et professionnels. Bien que j’aimerai bien revoir cette charmante jeune fille sans avoir en arrière pensée des états d’âmes professionnels.

H+…… : Violences empathiques (Pléonasmes élégants)

Le Lundi qui suit, nous nous rendons avec mon binôme chez le client pour questionner un peu plus l’utilisatrice à l’origine de l’incident et vérifier son poste.

Je me souviens avoir eu un comportement ainsi que des paroles hautaines et déplacés. « Ouai, elle va m’entendre cette c****e. Ca m’a fait c***r. Va falloir qu’elle se rende compte de l’impact et des conséquences de ces actes… »

Mon collègue qui à l’époque était technicien sur le contrat (qui deviendra par la suite l’un de mes modèles et l’un des mes supérieurs) m’avait sérieusement recadré dans la voiture quant à mon attitude et mes propos.

Finalement je ne suis qu’un jeune loupio qui jappe, je suis même pas encore sorti de l’école. Je n’ai pas l’expérience du terrain et je crois tout savoir de la vie professionnel. Comme le dirai ma grand-mère :

Mais tais toi donc !

La Grand-Mère de l’auteur

Mon collègue avait raison. J’étais qu’une m***e qui n’avait pas bien compris le sens du mot Service et de l’accompagnement des utilisateurs et du respect.

Une fois sur site, l’utilisatrice avait pleinement conscience de ce qu’elle avait généré en terme d’impact. Elle avait juste ouvert un mail. Elle était désolé. C’est là que mon empathie m’a fait comprendre que ça ne servait à rien de remuer le couteau dans la plaie et qu’au final la situation était résolu. J’étais donc bien un trou du c*l en train de prendre le melon. Mais le melon de quoi ? De moi, responsable informatique ? Le SysAdmin… C’est MOI !

L’organisation à perdu 2 jours de travail.

Ah bon tu es certain de ça ? Ils ont perdu qu’une journée car vous avez restauré la sauvegarde à J-1, donc Jeudi au soir.

Sur le papier c’est vrai. Dans l’organisation, ils ont perdu l’ensemble du travail effectué le Vendredi. Donc il va falloir faire la journée de travail du Lundi et refaire le travail effectué le Vendredi qui a été perdu.

Conclusion

Depuis, les antivirus ont bien évolués et prennent maintenant bien en charge les virus de nature cryptographique. Bien que ce soit toujours le jeu du chat et de la souris entre les attaquants et les éditeurs de sécurité. L’activité du client est bien reparti et les engagements de services sont respectés.

Il est important d’avoir l’architecture, la topographie réseau adéquate pour ces équipements d’infrastructure. Premièrement pour assurer les meilleures performances lors de la sauvegarde ou restauration du SI. Deuxièmement pour garantir un niveau de sécurité satisfaisant (Firewall avec IPS ou IDS).

Je ne mets pas de côté non plus la gestion des droits d’accès ainsi que la matrice des droits quant à la gestion documentaire (serveur de fichiers). Il revient toujours de se poser la question, est-ce que ce service ou utilisateur doit avoir accès à ce répertoire ? Doit il vraiment avoir les droits de lecture/écriture ou les droits de lecture seule suffisent ?

Il y a peu, je discutais avec l’un des mes collègues de cette situation personnelle. Il m’a demandé ce que m’avait apporté l’investissement et le temps que j’ai donnée à mon client à la suite de cet incident vis à vis de ma vie personnelle ?

Et bien sans mon collègue de la Direction Technique, je ne serai sans aucun doute là où j’en suis aujourd’hui. Car c’est avec notre Accord que j’ai pu faire tomber la pièce du côté personnel et donc rencontrer cette charmante demoiselle qui est devenu par la suite la charmante compagne qui se trouve à mes côtés. (Au premier degré puis que nos bureaux sont l’un à côté de l’autre à la maison 🙂 ).

Egalement et je le pense vraiment, il est important de bien encadrer et d’accompagner les jeunes loups lors de leurs premiers pas dans le monde professionnel. Tout reste à apprendre et il est nécessaire de nous enseigner l’humilité ou de nous le rappeler. Quitte à montrer les dents de temps à autres.

Comme quoi, tout est bon dans les cryptos ! <3

Le mot de la fin :

CryptoDate, mais CryptoLove. Impeccable, vous gagner un burger, une Guiness et une belle histoire

Erwan GUILLEMARD

Volontairement, aucuns noms, sociétés, marques, lieux et dates ne seront cités.

H+0h00min – Réveil douloureux

Samedi, 8h30 du matin. Le téléphone professionnel vibre sur ma table de chevet (qu’est-ce qu’il fout là, d’abord). Deux appels manqués, trois notifications de messageries instantanées. Avant même de décrocher, je sais que la journée va être compliquée tout comme mon réveil.

Je décroche. Mon collègue et directeur d’agence m’informe que plusieurs remontées clients nous informent que notre plateforme d’hébergement n’est plus disponible.

Il n’en faudra pas plus. Les mots « clients », « hébergement » et « plus disponible » ont remis la machine en marche. Ma « cafetière » (comprendre mon cerveau) tourne à plein régime et hurle tel le moteur diesel qui n’a pas eu le temps de chauffer suffisamment. J’informe mon collègue que je dois vérifier et réaliser d’urgence un diagnostic. Nouveau point de situation dans 30 minutes au plus tard.

Dans la plus simple des tenues, les cheveux en bataille j’attaque un diagnostic (Tu as vraiment besoin de rentrer aussi loin dans le détail ?).

• Plus d’accès à la plateforme par la voie normale
• Plus de mail à partir d’une certaine heure
• Côté FAI¹, rien à signaler
• Accès sur l’infrastructure de secours par la voie d’urgence
• Plus d’accès aux équipements, isolation de l’environnement de secours

Allô Maman bobo ?

H+0h30min – Diagnostic

Diagnostic effectué. Il y a une anomalie sur notre infrastructure réseau ou de calcul (comprendre infrastructure serveur). Nous sommes aveugles. Nous devons intervenir physiquement sur site. Retour auprès de mon N+1 pour établir le constat. Nous devons intervenir urgemment sur site. L’intervention est validée.

L’équipe sera composée de deux personnes, lui et moi. Nous avons et avions l’habitude de travailler ensemble. Chacun sait ce qui doit être fait.

Nous nous donnons rendez-vous sur le site du siège à 9h45. Le temps de nous préparer et de mon côté prendre tous équipements, ressources matérielles qui pourraient être utile.

Je dis au revoir à ma petite tribu en leur annonçant que je n’ai aucune idée de l’heure à laquelle je vais rentrer (super excuse pour ne pas faire les corvées hebdomadaires, quoi que j’aurai préféré les corvées).

De son côté, mon collègue informe le président ainsi que les autres membres de la gouvernance de l’incident en cours et de la criticité de ce dernier.

H+1h15min – Plan & route

Après une douche à l’arrache, je passe au siège de notre organisation récupérer le carton de fourniture dédié à nos équipements en production. Dans l’attente de mon « taxi », je m’autorise un café double, double expresso serré (manger les grains de café et les chiquer reviendrait au même) tout en établissant la liste des scénarios possibles d’avaries ainsi que toutes les solutions réalisables.

Pas le temps de finir mon café, que nous voilà reparti. La journée s’annonçait mal et ça semblait se confirmer puisque le GPS nous préconisait un itinéraire de substitution à l’itinéraire normal. Peut-être lié à un trafic dense ce weekend là ? Allez savoir…

Durant le trajet comme tout bon fataliste que je suis je présente les pires scénarios potentiels :

• Perte du cluster de production
• Perte du réseau
• Perte de l’ensemble de l’environnement

Toutefois je vis mieux la situation que ce que je le pensais. Même si l’éternel optimisme de mon collègue vient à dédramatiser la situation que je véhicule. Je crois et suis même certain que cette qualité de relativisme est un nécessaire indispensable pour un être un bon leader. Un N+1 se doit d’être exemplaire et d’ouvrir la voie.

Le désespoir est une forme supérieure de la critique. Pour le moment nous l’appellerons bonheur.

Léo Ferré – La Solitude

Bref, notre tandem à toujours fonctionné, pourquoi douter ?

En chemin, je déclenche l’astreinte de notre prestataire et partenaire. Par le plus grand des hasards, nous connaissons bien la personne d’astreinte il n’y a pas de problème pour l’intervention, nous le contacterons à 5 minutes de notre arrivée sur site.

H+2h45min – Arrivée sur site et… STOP !

Après une bonne heure et demie de route (itinéraire de substitution oblige), nous arrivâmes sur site. J’avais informé notre correspondant 5 minutes avant notre arrivée. Tous semblaient rouler.

Je présente mes habilitations auprès du poste de contrôle en introduisant mon binôme non habilité. Douche froide, « On ne passe pas » (hasard ou pas j’ai intérieurement ri de la situation). Les agents de sécurité nous ont informé d’un incident sur le site qui venait de se produire et nous nous pouvions donc pas intervenir dans le DC. Plus précisément, le TGBT² venait de prendre feu…

Là concrètement ça la fout mal.

1. Nous ne pouvons pas accéder au DC à la suite de l’avarie électrique en cours
2. Nous ne pouvons pas identifier la panne présente sur notre infrastructure
3. Notre hébergeur et partenaire est bloqué au même niveau que nous
4. Nous ne pouvons éteindre l’infrastructure (si quand bien même elle est disponible) à distance

Après un rapide échange avec la sécurité, l’agent d’astreinte, nous devons attendre l’intervention d’ENEDIS. Au vu de la criticité et de la loi des séries (pour ne pas dire d’emmerdement maximum), nous engageons notre partenaire et nous les mesures nécessaires. (Je vous avais dit que j’étais frappé d’infortune ?)

Notre PDG n’en revient pas, la PDG de notre fournisseur interviendra physiquement sur le site 10 minute après l’information de cette nouvelle. Ce qui est, je pense, une nouvelle fois gage d’implication et de qualité de service auprès de nous ainsi que de l’ensemble de leurs clients. Parenthèse ouverte, les clients trouvent toujours que les services sont trop onéreux, mais dans ce genre de situation ils sont heureux d’avoir ce niveau de prestation, d’implication et de sérieux. Ceux qui maintiendraient le contraire, je ne leurs souhaite au grand jamais d’être confronté à une situation similaire sans avoir ni le son, ni l’image de ce qui se trame… Fermons la parenthèse.

Nous sommes donc contraint par cette nouvelle péripétie de tuer le temps. Nous allons déjeuner, le rétablissement des services est estimé entre 30 et 90 minutes.

H+3h15min – Du gras et du froid

D’accoutumé, je préfère un repas réconfortant. Intervention loin et technique équivaut à une pinte et un plat riche. Dans le contexte que nous vivons cela se résumera à du sucre, du gras rapidement. En un mot et un seul, FAST-FOOD.

Je vous laisse devinez qui est tombé sur la borne qui ne fonctionne pas ? Qui a un burger froid ? Bref. Nous mangeons. Toujours dans la réflexion de ce qui peut se produire sur notre système d’information. Difficile de changer de sujet pour ma part et ce malgré les efforts de mon collègue.

Le téléphone sonne nous informant que j’ai gagné au loto. Ah non faut pas déconner non plus ! Le téléphone sonne m’informant que nous pouvons accéder au datacenter et que l’alerte relative au TGBT est sous contrôle.

J’ai raccroché le téléphone. Top à la vachette, 10 minutes après nous étions de nouveau sur site (et en respectant le code de la route).

H+3h45min – Du bruit et des cellules grises

Nous sommes en place. Nous entrons dans le DC³. Pour partager le sentiment qui me traverse. Imaginez vous à Noël, enfant avant de découvrir vos cadeaux sous le sapin. Inversez le sentiment et vous avez mon ressenti. Mon cœur n’est plus dans ma cage thoracique, il gambade dans le hall d’entrée, 50 mètres plus loin.

Le DC est ok. La température est normale, les alimentations normales. Les baies sont ok, notre baie est ok. Mais ça siffle dans notre baie.

Pour qui sont ces serpents qui sifflent sur vos têtes ?

Jean Racine

C’est parti pour le check up des équipements, ce n’est pas normal.

Et toi qu’est que tu regardes en premier chez une femme ? Bah je sais pas je ne regarde que des baies info…

Ma grosse crainte, c’est le crash du cluster de serveur. Mais ce dernier visuellement indique que l’ensemble des serveurs sont sous tension et fonctionnent. Le cluster de firewall est ok. Par contre le réseau c’est « weird » comme le dirait un gars d’outre manche…

Nous avons une infrastructure réseau spécifique qui n’est pas standard sur les « petites » infrastructures. Généralement pour une PME avec juste un hyperviseur ou une infrastructure HA⁴ avec une baie de stockage, nous avons un stack de switch de couche 2. Dans le cas d’infrastructure hyperconvergée ou importante, nous sommes plus sur des switchs datacenter couche 2, couche 3 voir couche 4. Soit au minimum 2 switchs spines, et 2 switchs leafs.

(En gros, ça donne l’architecture classique ci-dessous)

Et c’est là qu’il semble avoir un problème. Les deux switchs spines sont en orange, les deux leafs sont ok. Naturellement les deux types de switchs sont résilients l’un de l’autre.

Premier diagnostic : La panne se situe au niveau des spines. L’infrastructure continue de se voir par commutation au niveau des leafs mais n’ont plus accès à la partie supérieurs soit le wawa (www) et les firewalls. Certes, mais qu’est ce qui se passe vraiment ?

Si je sais bien une chose avec les équipements réseaux, c’est qu’il est INDISPENSABLE pour un TECHNICIEN ou SYSADMIN d’avoir un câble et adaptateur CONSOLE/SERIE (le message est clair je pense avec l’usage de majuscule). Malheureusement, la loi des séries s’abat encore sur ma tronche. Mon adaptateur USB/Série n’est pas reconnu ni compatible avec WIN11. Hello darkness, my old friend… Bon mon collègue à un poste en WIN10. Il sauve la mise.

Il se connecte sur le premier switch. L’affichage du terminal ne nous indique rien de bon… La ROM⁵ semble avoir lâchée. Les blocks et les cylindres propres au stockage interne sont perdu, plus de partition. Nous décidons de reboot le premier switch. Si ça sifflait, là maintenant ça hurle ! Le terminal console est complétement perdu. Le boot de l’équipement est complétement hors service et boot en boucle.

Le premier switch est mort, vive le switch. Passons au second spine.

En console de nouveau, les mêmes retours sur le terminal. Afin de valider l’interprétation, nous demandons l’avis de notre prestataire. Il valide nos craintes. La ROM semble bien HS.

Le second switch est mort, vive le switch.

(Ce qui se résume sur le plan architecture par le schéma suivant)

Conclusion, les deux switchs spines sont mort car les deux roms ont lâché. Cela ne m’étonne pas et ça arrive. La probabilité est quasi inexistante pour ne pas dire nulle, mais c’est le cas. Les deux équipements ont le même âge et sont proches par leurs numéros de séries. Mais ce n’est pas grave, les équipements sont sous garantie avec GTR 4h, 24/24 – 7/7j.

Mais c’est beau d’avoir une garanti, mais faut il encore l’avoir déclenchée et savoir comment elle fonctionne… C’est toujours dans les situations d’urgence que nous nous rendons compte que ça coince. Et spoiler, ça va coincer !

Nous appelons le support constructeur au US. Ce dernier nous informe qu’il n’y a pas de problème mais que nos équipements ne sont PLUS sous garantie.

Popop qu’est ce que tu nous racontes ! J’ai passé un BL et je me suis fait ch**r à le faire toussa toussa.

Pour moi s’est bien parti à notre fournisseur. Notre interlocuteur américain (si je synthétise) nous répond qu’il n’y a pas de problème pour intervenir, mais qu’il nous faut la facture comme preuve du renouvellement de la garantie.

Je vous le donne en mille, où est notre applicatif métier ? Sur l’infrastructure qui n’est pas joignable (lol, xptdr comme nous le dirait le millénials qui sommeil en moi).

Et c’est parti pour le grand plongeon dans nos boites mails à base de recherche de:X, objet:Y, a:Z ect. Comme ça ne suffit pas, nous demandons au PDG de se rendre au siège pour trouver le document papier. Nous dérangeons d’autres collaboratrices… Bref après une bonne heure nous arrivons à la conclusion que :

• Le devis nous l’avons
• Le bon de commande nous l’avons
• La facture nous ne l’avons pas
• Le montant relatif au renouvellement de garantie n’a jamais été débité

Vous la voyez la douille ? 🙂 (J’en ris maintenant, mais je ne rigolais pas du tout à ce moment).

Lors du rencontre avec ce fournisseur, il nous avez été dit la fameuse phrase « Vous pouvez m’appelez de jour comme de nuit, je vous répondrai !« . Et bien c’est ce que nous avons fait. Une fois, deux fois, trois fois sans résultat. Je viens d’un milieu professionnel et personnel où lorsque l’on donne sa parole, on l’a tiens. Quelle déception que cela se perde… Toutefois nous avons un autre contact chez ce fournisseur (qui nous a tenu le même spitch). Deux appels et nous avons un retour. Le contact comprend notre situation mais ne peut malheureusement rien faire car cela n’est pas dans son périmètre. Le contact regarde tout de même ce qui est envisageable de son côté pour éclairer notre lanterne et nous aider. (SPOILER, il n’y aura pas de retour car l’information ne lui ait pas accessible. Mais nous avons pu compter dessus et c’est déjà pas mal vu notre contexte).

Résumons, la situation. Nous avons deux équipements hors service. Une extension de garantie qui n’est pas valide. Nous avons identifié la panne, mais sans solution de remplacement des équipements défectueux.

H+4h45min – Tandem, Collaboration et Champollion deuxième langue

Nous voilà donc dans une impasse. De l’autre côté, l’incident survenu en parallèle du notre mais décorrélé de toutes incidences nous a permis d’éviter un arrêt total de notre cluster et surtout la présence de la présidente de notre fournisseur ainsi que de l’opérateur d’astreinte.

Ces derniers viennent s’informer de notre situation et si nous avons soldé notre panne. Nous leurs expliquons la situation et indiquons que nous réfléchissons à la meilleure porte de sortie possible.

Je me souviens de l’échange de regard entre nos partenaire qui en un regard se sont compris. S’en est suivi un « Nous pouvons peut-être vous aider ? Qu’est ce qu’il vous faut comme équipement ? ».

Cette proposition tombe à point nommé. Toutefois et dans ma nature pessimiste, je me dis que les équipements anciennement fonctionnels sont tellement spécifiques (marque, modèle non dans nos standards avec des performances élevées etc) que ça ne fonctionnera pas. Mon collègue ainsi que notre prestataire ne sont pas de cet avis. Il faut tenter.

• Qu’est ce qu’on a perdre ? Rien, ça ne fonctionne plus de toute façon
• Qu’est ce qu’on a à gagner ? Ca refonctionne mais en dégradé dans le pire des cas.

Nous acceptons donc la proposition et nous voilà avec deux switchs d’une marque et modèle différents. Problème, je ne suis pas à l’aise avec cette marque d’équipement. Le réseau reste le réseau, mais les commandes de configuration varie d’une constructeur à l’autre, du firmware et des modèles dans une même gamme (CISCO != HPE Procurve != ARUBA CX !=  MELLANOX != DELL et nous pourrions continuer…). Bien que maintenant nous arrivons à une certaine standardisation des configurations avec ce que l’on pourrait appeler des équipements CISCO Like.

Je pense maintenant avec le recul que cette situation de crise a été intéressante pour l’opérateur d’astreinte autant que nous.

Comment reprendre la configuration puisque les deux équipements sont HS ?

Je suis malchanceux certes, mais prévoyant. J’ai dû omettre précédemment un point important lors du diagnostic. Nous disposons d’une dernière sauvegarde des configurations lorsque nous avons réalisées la dernière modification. Mais pour être certains de la véracité de la configuration, j’ai réussi à sauvegarder la configuration des deux équipements avant de les redémarrer et de perdre la main dessus. Prudence est mère de sureté dirait l’autre.

Nous nous organisons. D’un côté l’opérateur va configurer les équipements. De l’autre, je lui dicte chaque ligne du fichier de configuration et nous adaptons la configuration. Un peu comme CHAMPOLLION avec la pierre de rosette pour passer du hiéroglyphe au grecque.

Sans plan ça a du être galère ? Comment être certains que l’interface N va sur l’équipement X dans le subnet Y en marqué (tagged) et dans le subnet Z en native non marqué (untagged) ?

L’un de mes anciens managers (et mentor), responsables du service avait établi une sérigraphie physique de chaque équipement, de chaque interface. C’est long à faire, c’est fastidieux à maintenir et demande beaucoup de rigueur. Toutefois et cela a été démontré à cet instant précis, nous avons gagné un temps monstrueux pour reprendre la configuration.

La sérigraphie, couplée aux différents plans d’adressage nous ont été d’une grande aide et salvateur en plus des connaissances de l’infrastructure dans la cafetière qui me sert de cerveau.

Je rédige rapidement un pseudo plan de changement d’urgence eCAB⁶ dans un notepad impliquant les actions de migration et les tests de vérifications qui en découlent.

H+5h45min – Commutera ou Commutera pas ?

En moins d’une heure la configuration des deux équipements étaient reprise sur les équipements de substitution à l’exception de certaines options. Nous avons réalisé une sauvegarde préalable car nous savons que nous allons devoir ajuster la configuration. Et ça serait stupide de prendre une heure de taf de nouveau dans la vue.

Retour dans la salle serveur. Je vous parlerai plus bas de mon pire ennemi, la climatisation.

Là, tout n’est qu’ordre et beauté, Luxe, calme et volupté.

Charles Baudelaire, L’invitation au voyage

Dans notre cas je dirais plus

Là, tout n’est que lumière et néons, froideur, bruit et volupté (quand même faut pas déc****r).

Erwan Guillemard, L’invitation au changement d’urgence

Le bruit des climatisations et des ronronnements de tous les équipements rend difficile les échanges mais nous y arrivons.

Nous installons les équipements, puis attaquons le plan de changement rédigé quelques minutes plus tôt.

• Interconnexion des nouveaux équipements avec les LEAFs Switchs
• Vérification d’accès aux ressources d’infrastructures
• Test de HA des équipements temporaires SPINEs Switchs
• Bascule de tous les équipements interface par interface
• Test de bon fonctionnement

Et bien St Thomas aurait été là, il en aurait eu pour son argent et il aurait pu constater que ça commute ! St Thomas, saint patron des informaticiens ? Et bien NON ! Il existe un Saint Patron des informaticiens et c’est St Isidore. #NoFake Je mourrai moins c*n ce soir (la petite mort ça compte ? :p )

Hormis une petite boucle réseau au début et quelques rares ajustements sur certaines interfaces notre infrastructures est de nouveau disponible.

Les équipements réseaux supportent la charge.

H+6h45min – Allo, églantine ici mirabelle

Nous validons avec les équipes opérationnelles nous ayant fait remonter l’incident impactant leurs clients que tout est rentré dans l’ordre.

Les tests réalisés ensemble confirme le succès de l’opération.

H+7h00min – Remerciement et Retour

Nous étions tous satisfait des résultats de ce travail collaboratif. Le retour à la normal de nos services nous soulageaient autant que notre partenaire.

La fatigue nous retombait dessus progressivement, personne n’a été épargné. Nous avons chaudement remercié la présidente ainsi que l’opérateur d’astreinte de leurs actions, investissements quant à l’assistance à la résolution de notre incident critique.

Nous nous séparons, NOX ayant déjà bien entamée sa course.

H+9h00min – Fin du road trip

Le trajet du retour a été difficile. Le travail intense de la journée, la stratégie, l’adaptation face aux divers aléas, la communication, le stress qui retombent accentuent la fatigue. Toutefois, nous débriefons de l’incident sur la route du retour et notons les points positifs, négatifs. Nous évaluons le risque de la solution temporaire et du plan d’action à engager le lendemain et le Lundi suivant.

J’annonçais déjà la rédaction d’un REX⁷, pour ne pas perdre une once d’information et d’expérience de cette journée.

A jouer les Cassandres, je finis par croire que je suis Cassandre. Mon collègue me fait relativiser sur ce point, même s’il reconnait à demi-mot que la loi des séries c’est bien appliqué.

Arrivé à la maison, j’ai repris la place que j’avais laissé 9h00 plus tôt et paradoxalement j’ai bien dormi.

Conclusion

Il est je crois sensible de travailler avec des technologies équipements ou solutions qui sont à la marge de nos habitudes quotidiennes. Il est nécessaire de pratiquer constamment pour « maitriser » son infrastructure. Avec du recul, je me suis rendu compte que d’une version à l’autre des firwmares du même model de nos équipements, la configuration ne pouvait pas être repris simplement. Donc si nous avions eu à remplacer les deux équipements hors service, nous n’aurions pas pu rétablir les services rapidement. Je préconise donc de sélectionner des équipements sur lesquelles nous avons une expérience bien assise et où la configuration puisse être reprise rapidement et cela même avec une version différente de firmware.

Nous savions que les équipements devaient être remplacé prochainement, mais même avec une souscription d’extension de garantie, la situation nous a montré que nous pouvons être dans une voie sans issue The way is shut.

C’est là l’un des risques que chaque SysAdmin possède. Avoir une garantie ou assistance mais ne la déclencher que lorsque l’on rencontre une avarie, et se rendre compte que ça ne fonctionne pas, ça fait mal (Un coup de pied dans les b****s serait limite plus agréable.). Il faut être vigilant sur ce point lors de la souscription ou reconduction. Au-delà du confort, il convient de mesurer le rapport bénéfice, risque et de définir le RTO⁸ et le RPO⁹ que l’organisation que nous représentons s’autorise.

Le choix de ces partenaires et prestataires est crucial. Il faut une relation de confiance et ne pas hésiter à les challenger. Car c’est dans ce genre de situation que nous sommes content d’avoir une main tendue, Relève la gueule, je suis là, t’es pas seul. Il en est de même pour l’organisation interne. Dans cette situation, les rôles se sont distribués naturellement et face à l’incident nous étions une équipe et nous ne sommes pas tomber dans l’individualisme. La communication et la fréquence de cette dernière est importante. Donner de la visibilité sur l’incident en cours sans noyer d’informations les destinataires mais sans non plus négliger ces derniers.

L’un des points salvateurs de tous SysAdmin, c’est la rigueur. La sauvegarde des configurations des équipements actifs à chaque modification et de manière périodique doit être inscrit dans le PAS¹⁰. Il est je pense impératif d’avoir les documentations à jour de son système d’information. Le petit plus reste la sérigraphie des équipements réseaux.

Le mot de la fin :

Je commute en infogérance et relance une chenille dans le couloir. Tu..Tu..Tu..Tu ne peux..Tu..Tu. Vous avez une boucle sur votre réseau et c’est pas du BabyLiss.

Erwan Guillemard

1. FAI : Fournisseur d’accès internet ↩︎
2. TGBT : Transformateur Général Basse Tension ↩︎
3. DC : Data Center ↩︎
4. HA : Hight Availability ↩︎
5. ROM : Read Only Memory ↩︎
6. eCAB : Emergency Change Advisory Board ↩︎
7. REX : Retour d’EXpérience ↩︎
8. RTO : Recovery Time Objective ↩︎
9. RPO : Recovery Point Objective ↩︎
10. PAS : Plan d’Assurance Sécurité ↩︎