Auteur Sujet: Stabilité d'ipv6 sur dédiés et VM chez scaleway ? (Lu 6294 fois)

Nh3xus · « **Réponse #12 le:** 12 février 2021 à 20:44:48 »

Si si, faut passer par le support Online pour demander le no shut...

Kedare · « **Réponse #13 le:** 14 mai 2021 à 11:42:18 »

Pour info une partie de l'infra DHCPv6 Dedibox a été refacto/upgrade mi Mars donc ça devrait être mieux.

Et effectivement le port est shut en cas de flood DHCPv6 important (en général automatiquement)

vivien · « **Réponse #14 le:** 14 mai 2021 à 21:12:47 »

Merci Kedare.

Il travaille pour Scaleway, je viens de modifier son profil.

sly_ · « **Réponse #15 le:** 01 juin 2021 à 11:13:49 »

Merci Kedare pour votre retour technique, ça change des élucubrations commerciales qui vous vendent monts et merveilles.

Il est sans doute un peu tôt pour le confirmer, mais sans rien changer de mon coté, depuis mon problème de février je n'ai à déplorer aucune perte de connectivité. Je vais également lancer un test de déplacement de VM entre datacenter, après tout, c'est aussi ça l'intérêt du dhcp...

Kedare · « **Réponse #16 le:** 01 juin 2021 à 12:19:17 »

Le changement qui a eu lieux en Mars ne concerne que le DHCPv6 pour Dedibox, si tu parles de VM sur Scaleway Elements c'est une infra complètement différente géré par une autre équipe.

Si tu parles d'un déplacement de VM sur des hosts Dedibox, pense bien a release ton prefix avant de le re-request si tu es sur un host différent.

sly_ · « **Réponse #17 le:** 01 juin 2021 à 12:25:14 »

Citation de: Kedare le 01 juin 2021 à 12:19:17

Le changement qui a eu lieux en Mars ne concerne que le DHCPv6 pour Dedibox

of course, c'est bien de cela qu'il s'agit ici.

Citation de: Kedare le 01 juin 2021 à 12:19:17

Si tu parles d'un déplacement de VM sur des hosts Dedibox, pense bien a release ton prefix avant de le re-request si tu es sur un host différent.

ha ! Et bien pour ce point, on est alors similaire avec le comportement d'avant. J'avais en effet remarqué qu'un release permettait d'accélérer la bascule du routage vers un host différent. Sauf qu'on a pas toujours le loisir de faire un release. Quand c'est planifié à l'avance oui, mais quand on est face à la perte d'un noeud physique, la procédure de reprise devrait permettre d'imposer le routage vers l'hôte de reprise.

Bon, je continue mes tests...

sly_ · « **Réponse #18 le:** 01 juin 2021 à 15:16:20 »

Après quelques tests de déplacement de VM d'un host à l'autre/reprise d'IPv6, le résultat est un peu étrange.

En suivant bien l'ordre :
- validation que le routage ipv6 marche avec VM1 sur host1 sur DC2
- stop et release par le client dhcpv6
- déplacement VM1 sur host2 (AMS1)
- migration de la failover ipv4 et de la MAC associée
- boot de la VM1 sur host2

Résultat en quelques secondes : connectivé ipv4 et ipv6 impeccable

Pour jouer, opération inverse en suivant le même ordre et retour sur host1
Résultat : connectivé ipv4 en quelques secondes, ipv6 KO
reboot, restart de dhcpv6 rien n'y fait.

(...)
Jun 1 14:53:11 test2 dhclient[1085]: XMT: Forming Request, 0 ms elapsed.
Jun 1 14:53:11 test2 dhclient[1085]: XMT: X-- IA_PD 00:00:e7:f8
Jun 1 14:53:11 test2 dhclient[1085]: XMT: | X-- Requested renew +3600
Jun 1 14:53:11 test2 dhclient[1085]: XMT: | X-- Requested rebind +5400
Jun 1 14:53:11 test2 dhclient[1085]: XMT: | | X-- IAPREFIX 2001:bc8:37ca:106::/64
Jun 1 14:53:11 test2 dhclient[1085]: XMT: | | | X-- Preferred lifetime +7200
Jun 1 14:53:11 test2 dhclient[1085]: XMT: | | | X-- Max lifetime +7500
Jun 1 14:53:11 test2 dhclient[1085]: XMT: V IA_PD appended.
Jun 1 14:53:11 test2 dhclient[1085]: XMT: Request on enp0s3, interval 950ms.
Jun 1 14:53:11 test2 dhclient[1086]: XMT: Request on enp0s3, interval 950ms.
Jun 1 14:53:11 test2 dhclient[1086]: RCV: Reply message on enp0s3 from 2001:bc8:6010:204::1.
Jun 1 14:53:11 test2 dhclient[1085]: RCV: Reply message on enp0s3 from 2001:bc8:6010:204::1.
Jun 1 14:53:11 test2 dhclient[1085]: RCV: X-- Preference 255.
Jun 1 14:53:11 test2 dhclient[1085]: RCV: X-- IA_PD 00:00:e7:f8
Jun 1 14:53:11 test2 dhclient[1085]: RCV: | X-- starts 1622551991
Jun 1 14:53:11 test2 dhclient[1085]: RCV: | X-- t1 - renew +10800
Jun 1 14:53:11 test2 dhclient[1085]: RCV: | X-- t2 - rebind +172800
Jun 1 14:53:11 test2 dhclient[1085]: RCV: | X-- [Options]
Jun 1 14:53:11 test2 dhclient[1085]: RCV: | | X-- IAPREFIX 2001:bc8:37ca:106::/64
Jun 1 14:53:11 test2 dhclient[1085]: RCV: | | | X-- Preferred lifetime 7200.
Jun 1 14:53:11 test2 dhclient[1085]: RCV: | | | X-- Max lifetime 86400.
Jun 1 14:53:11 test2 dhclient[1085]: RCV: X-- Server ID: 00:01:00:01:27:c2:56:0a:52:54:00:ac:49:df
Jun 1 14:53:11 test2 dhclient[1085]: PRC: Bound to lease 00:01:00:01:27:c2:56:0a:52:54:00:ac:49:df.

Le client dhcp prétend avoir reçu une lease mais le routage ne le fait pas. Après, j'ai joué à l'apprenti sorcier en tentant de remplace l'adresse MAC rien de mieux. J'ai supprimer le sous réseau /64 pour le re-créer avec nouveau duuid toujours pas.
Si je tente avec un autre sous réseau /64 et nouveau duuid là ouf, j'ai pas tout planté ;-)
Mais ça perd un peu d'intérêt si je ne peux pas garder les IPv6

ça marche 1 fois si on relase bien la lease, sinon, ben, faut attendre je ne sais pas quel expiration de je ne sais quel composant de la chaîne...

Kedare · « **Réponse #19 le:** 01 juin 2021 à 15:56:34 »

Citation de: sly_ le 01 juin 2021 à 12:25:14

ha ! Et bien pour ce point, on est alors similaire avec le comportement d'avant. J'avais en effet remarqué qu'un release permettait d'accélérer la bascule du routage vers un host différent. Sauf qu'on a pas toujours le loisir de faire un release. Quand c'est planifié à l'avance oui, mais quand on est face à la perte d'un noeud physique, la procédure de reprise devrait permettre d'imposer le routage vers l'hôte de reprise.

Le release peut être fait depuis un autre host, il faut juste que le prefix et duid match avec le précédent pour déclencher la suppression de la route

Pour ton soucis je vais regarder, ce n'est pas normal.

Tu confirme que ce soucis c'est quand tu release ?
Quand tu ne release pas c'est normal (mais tu doit le release depuis ton nouveau host)

Kedare · « **Réponse #20 le:** 01 juin 2021 à 18:09:59 »

Il y a effectivement un soucis quand le préfixe doit bouger.

Le workaround actuel :
- Lancer une requête dhcpv6 sur le nouveau serveur (si non dhclient ne permet pas de release sans lease)
- Lancer un premier release sur le nouveau serveur (ca va supprimer l'ancienne route et kill dhcpclient du nouveau serveur)
- Lancer un deuxieme release sur le nouveau server (ca va supprimer la nouvelle route)
- Lancer une dernière requête dhcpv6 sur le nouveau serveur (ca reconfigure la nouvelle route et lancer le dhclient)

On a corrigé le code mais on a vu quelques routes clientes en double, triple, etc... qu'on doit prévenir avant si jamais c'est quelque chose de volontaire de leur part (pseudo-anycast) avant de pousser le code en production.

Une fois le fix push en production, une requête dhcpv6 va rajouter une route vers le serveur qui envoie la requête et retirer toutes les autres routes éventuelles du même prefixe

sly_ · « **Réponse #21 le:** 03 juin 2021 à 15:23:34 »

Bon ben je n'arrive pas à mettre en oeuvre le workaround.

J'ai pu constater que le routage ipv6 qui ne marchait pas mardi remarche ce matin sans avoir rien changé de mon coté, le routage de l'IP de test que j'ai mis sur ma VM 2001:bc8:37ca:106::1 fonctionnait à nouveau correctement (la route a fini par expirer/se mettre à jour)
Je retente le déplacement de la VM vers l'autre host autre DC, je relance dhclient6 -> nikel, le routage fonctionne vers le nouvel host.

je re-re déplace la VM vers l'host initial, je relance dhclient, il me dit obtenir une nouvelle lease :

Jun 3 15:02:09 test2 dhclient[2074]: XMT: Forming Request, 0 ms elapsed.
Jun 3 15:02:09 test2 dhclient[2074]: XMT: X-- IA_PD 00:00:e7:f8
Jun 3 15:02:09 test2 dhclient[2074]: XMT: | X-- Requested renew +3600
Jun 3 15:02:09 test2 dhclient[2074]: XMT: | X-- Requested rebind +5400
Jun 3 15:02:09 test2 dhclient[2074]: XMT: | | X-- IAPREFIX 2001:bc8:37ca:106::/64
Jun 3 15:02:09 test2 dhclient[2074]: XMT: | | | X-- Preferred lifetime +7200
Jun 3 15:02:09 test2 dhclient[2074]: XMT: | | | X-- Max lifetime +7500
Jun 3 15:02:09 test2 dhclient[2074]: XMT: V IA_PD appended.
Jun 3 15:02:09 test2 dhclient[2074]: XMT: Request on enp0s3, interval 910ms.
Jun 3 15:02:09 test2 dhclient[2076]: XMT: Request on enp0s3, interval 910ms.
Jun 3 15:02:09 test2 dhclient[2076]: RCV: Reply message on enp0s3 from 2001:bc8:6010:204::1.
Jun 3 15:02:09 test2 dhclient[2074]: RCV: Reply message on enp0s3 from 2001:bc8:6010:204::1.
Jun 3 15:02:09 test2 dhclient[2074]: RCV: X-- Preference 255.
Jun 3 15:02:09 test2 dhclient[2074]: RCV: X-- IA_PD 00:00:e7:f8
Jun 3 15:02:09 test2 dhclient[2074]: RCV: | X-- starts 1622725329
Jun 3 15:02:09 test2 dhclient[2074]: RCV: | X-- t1 - renew +10800
Jun 3 15:02:09 test2 dhclient[2074]: RCV: | X-- t2 - rebind +172800
Jun 3 15:02:09 test2 dhclient[2074]: RCV: | X-- [Options]
Jun 3 15:02:09 test2 dhclient[2074]: RCV: | | X-- IAPREFIX 2001:bc8:37ca:106::/64
Jun 3 15:02:09 test2 dhclient[2074]: RCV: | | | X-- Preferred lifetime 7200.
Jun 3 15:02:09 test2 dhclient[2074]: RCV: | | | X-- Max lifetime 86400.
Jun 3 15:02:09 test2 dhclient[2074]: RCV: X-- Server ID: 00:01:00:01:27:c2:56:0a:52:54:00:ac:49:df
Jun 3 15:02:09 test2 dhclient[2074]: PRC: Bound to lease 00:01:00:01:27:c2:56:0a:52:54:00:ac:49:df.

mais pas de routage.

Je release :
Jun 3 15:09:04 test2 dhclient[2158]: Listening on Socket/enp0s3
Jun 3 15:09:04 test2 dhclient[2158]: Sending on Socket/enp0s3
Jun 3 15:09:04 test2 dhclient[2158]: XMT: Forming Release, 0 ms elapsed.
Jun 3 15:09:04 test2 dhclient[2158]: XMT: Release on enp0s3, interval 1050ms.
Jun 3 15:09:04 test2 dhclient[2158]: XMT: Release on enp0s3, interval 1050ms.

je relance :

Jun 3 15:09:44 test2 dhclient[2171]: XMT: Forming Request, 0 ms elapsed.
Jun 3 15:09:44 test2 dhclient[2171]: XMT: X-- IA_PD 00:00:e7:f8
Jun 3 15:09:44 test2 dhclient[2171]: XMT: | X-- Requested renew +3600
Jun 3 15:09:44 test2 dhclient[2171]: XMT: | X-- Requested rebind +5400
Jun 3 15:09:44 test2 dhclient[2171]: XMT: | | X-- IAPREFIX 2001:bc8:37ca:106::/64
Jun 3 15:09:44 test2 dhclient[2171]: XMT: | | | X-- Preferred lifetime +7200
Jun 3 15:09:44 test2 dhclient[2171]: XMT: | | | X-- Max lifetime +7500
Jun 3 15:09:44 test2 dhclient[2171]: XMT: V IA_PD appended.
Jun 3 15:09:44 test2 dhclient[2171]: XMT: Request on enp0s3, interval 910ms.
Jun 3 15:09:44 test2 dhclient[2172]: XMT: Request on enp0s3, interval 910ms.
Jun 3 15:09:44 test2 dhclient[2172]: RCV: Reply message on enp0s3 from 2001:bc8:6010:204::1.
Jun 3 15:09:44 test2 dhclient[2171]: RCV: Reply message on enp0s3 from 2001:bc8:6010:204::1.
Jun 3 15:09:44 test2 dhclient[2171]: RCV: X-- Preference 255.
Jun 3 15:09:44 test2 dhclient[2171]: RCV: X-- IA_PD 00:00:e7:f8
Jun 3 15:09:44 test2 dhclient[2171]: RCV: | X-- starts 1622725784
Jun 3 15:09:44 test2 dhclient[2171]: RCV: | X-- t1 - renew +10800
Jun 3 15:09:44 test2 dhclient[2171]: RCV: | X-- t2 - rebind +172800
Jun 3 15:09:44 test2 dhclient[2171]: RCV: | X-- [Options]
Jun 3 15:09:44 test2 dhclient[2171]: RCV: | | X-- IAPREFIX 2001:bc8:37ca:106::/64
Jun 3 15:09:44 test2 dhclient[2171]: RCV: | | | X-- Preferred lifetime 7200.
Jun 3 15:09:44 test2 dhclient[2171]: RCV: | | | X-- Max lifetime 86400.
Jun 3 15:09:44 test2 dhclient[2171]: RCV: X-- Server ID: 00:01:00:01:27:c2:56:0a:52:54:00:ac:49:df
Jun 3 15:09:44 test2 dhclient[2171]: PRC: Bound to lease 00:01:00:01:27:c2:56:0a:52:54:00:ac:49:df.

Rien n'y fait, toujours pas de routage.

Je rebouge ma VM sur l'host + MAC vers lequel je suppose que ça route toujours, je ne lance pas dhclient6 et me contente de :
ip a add 2001:bc8:37ca:106::1 dev enp0s3

la connectivité ipv6 revient
je restart dhclient, je release ma lease
je re-re-re bouge la VM vers le nouvel host
je bouge la failover ipv4
je start puis stop puis start dhclient6

ça ne route toujours pas en ipv6.

P'tet que je vais simplement attendre le nouveau fix ;-)

Kedare · « **Réponse #22 le:** 03 juin 2021 à 16:07:42 »

Tu fais biens les 2 releases ?
De mon coté je vois 2 routes active vers ton préfixe donc on dirait que ca n'a pas été bien release (ce qui est normal si tu n'a lancé que 1 release).

Mais effectivement c'est le genre de chose qui ne sera plus possible une fois le fix poussé.

sly_ · « **Réponse #23 le:** 03 juin 2021 à 17:26:15 »

j'en ai tenté 2, 3 voire tout un tas. Mais peut-être que je ne fais pas comme il faut, ou alors c'est l'ancienne route que j'aurais dû supprimer autrement ?

En manuel, je fais ça plusieurs fois :

/sbin/dhclient -r -d -v -pf /run/dhclient6.pid -cf /etc/dhcp/dhclient6.conf -lf /var/lib/dhcp/dhclient6.leases -6 enp0s3
(blabla)
Sending on Socket/enp0s3
XMT: Forming Release, 0 ms elapsed.
XMT: Release on enp0s3, interval 980ms.

# /sbin/dhclient -d -1 -v -pf /run/dhclient6.pid -cf /etc/dhcp/dhclient6.conf -lf /var/lib/dhcp/dhclient6.leases -6 -P enp0s3
(blabla)

RCV: Reply message on enp0s3 from 2001:bc8:6010:204::1.
RCV: X-- Preference 255.
RCV: X-- IA_PD 00:00:e7:f8
RCV: | X-- starts 1622733811
RCV: | X-- t1 - renew +10800
RCV: | X-- t2 - rebind +172800
RCV: | X-- [Options]
RCV: | | X-- IAPREFIX 2001:bc8:37ca:106::/64
RCV: | | | X-- Preferred lifetime 7200.
RCV: | | | X-- Max lifetime 86400.
RCV: X-- Server ID: 00:01:00:01:27:c2:56:0a:52:54:00:ac:49:df
PRC: Bound to lease 00:01:00:01:27:c2:56:0a:52:54:00:ac:49:df.
PRC: Renewal event scheduled in 10800 seconds, to run for 162000 seconds.
PRC: Depreference scheduled in 7200 seconds.
PRC: Expiration scheduled in 86400 seconds.

ip addr add 2001:bc8:37ca:106::1 dev enp0s3

-> niet