Effectivement, c'est bizarre.
Ca marche bien en 4g sur mon pc via une redirection de port sur ma freebox (port 22).
En wifi, j'arrive à accéder le serveur, aussi bien en ipv4 que v6. En 4g, ça ne marche pas et pourtant, j'ai viré le firewall.
Mais le réseau en 4g n'est pas bridé sinon ça ne se connecterait pas chez moi. Je vais plutôt solliciter le support scaleway.
Merci à tous ceux qui m'ont filé un coup de main.