Déjà, tu ne peux pas t'étonner que le speedtest indique des valeurs plus basses si tu télécharges en même temps. Speedtest au final ne fait que lancer un téléchargement et un upload pour calculer les vitesses. Si ta BP est déjà utilisée par un autre logiciel, forcèment, il aura moins de bande passante.
Si le passthrough n'est pas disponible, cela ne vient ni du NIC, ni de la mobo mais tout simplement du CPU qui n'est pas compatible. Tous les CPU n'en sont pas capables.
Quant à ESXi, de mémoire, il créé des vSwitches avec interfaces 10GbE par défaut. Dans tous les cas, tu peux saturer une connexion 1GbE facilement. Il suffit de faire un test de débit interne (d'une de tes VMs à un PC) pour le constater, donc ça ne vient pas de lui. Tu peux même faire du 10GbE virtuel entre tes VMs.
Ensuite, PfSense a de multiples avantages, pour être franc. Je ne sais pas où tu as vu qu'il fallait reboot après chaque opération, mais c'est juste faux, il suffit d'appliquer la config... Ensuite, tout dépend des besoins, mais PfSense a infiniment plus d'options, rien de comparable à une Livebox, qui chez moi plante périodiquement sans raison, a extrêmement peu d'options (ne gère même pas les VLANs, a un firewall de misère, bref, rien de comparable). PfSense est d'ailleurs utilisé dans le milieu de l'entreprise (je n'ai pas d'actions chez eux, hein, mais dans ton cas le souci ne vient pas du tout de PfSense, mais plutôt de ton matériel, je dirais).
En bare-metal, tu avais quoi, comme performances ? Perso, je pense toujours à un souci avec tes NIC. Quel est ton modèle de NIC, actuellement ?
Après, tu fais de la virtualisation sur un CPU qui ne doit pas supporter le VT-d, c'est dommage, vu que le passthrough nous aurait permis d'établir si ça venait bel et bien de là ou pas.
Remplacer la LiveBox par un routeur