C'est très intéressant, et là je suis arrivé à reproduire le problème avec une autre méthode.
Puisque le branchement initial du câble sur LAN2 semble poser problème (ce qui pourrait être un "vrai" bug, ou un effet indirect sur les timings), tu peux essayer dans u-boot (celui d'origine, AXON) :
setenv serdes_ethernet
saveenvPar défaut ça vaut 11, ce qui initialise le serdes pour LAN2 en mode USXGMII.
En enlevant cette valeur, il n'y aura plus les traces :
ETH VER = ETH.2.2.1-R
...
USXGMII_10G exit