Ton serveur n'a pas l'air de répondre en IPv6.
Donc, en tout cas avec openssl s_client, on envoie 11 SYN en IPv6 sans réponse, avant d'en tenter un 12ème en IPv4, qui fonctionne.
Sur PC, Chromium comme Firefox tentent à la fois une connexion en IPv6 et une en IPv4, et utilisent celle qui marche (donc aucun délai).
J'imagine que quelque chose sur ton Pixel avec Chrome chez Sosh fait qu'il n'essaie jamais IPv4.