Auteur Sujet: Freebox Delta / mode bridge / Firewall / Proxmox / performance  (Lu 1816 fois)

0 Membres et 1 Invité sur ce sujet

amapi

  • Abonné Free fibre
  • *
  • Messages: 33
  • cadolive 13950
Hello,
  maintenant que mon soucis de débit est résolu, voici un petit retour pour ceux qui veulent utiliser une VM en guise de firewall (avec la Freebox Delta en mode bridge).

Pour les plus impatients:
La VM avec le Firewall Untangle est beaucoup plus performante que les autres. Pfsense et Opnsense derniers

DistribDébit MAX
pf/opn|sense2.2Gb
vyos2.4Gb
untangle4.2Gb

Mon infra est la suivante.

-- Freebox delta en 10GB

puis

-- Un serveur proxmox (ryzen 7 2600/64Gb RAM/Carte PCIe Réseau LAN 10G Fibre SFP+ 2 Ports LC - CHIPSET BROADCOM BCM57810)

puis

-- VM firewall (4 cores / 8Gb RAM )

puis

-- Switch qnap 2x10Gb SFP+ 5x2.5GB ethernet

puis (sur le switch qnap)

-- PC win 11 avec carte ethernet 2.5GB
-- un autre proxmox la meme carte réseau que le premier (simple port cette fois)


Tous les proxmox, le qnap et la freebox delta sont reliés en 10GB avec des cables DAC
Mon PC est relié au switch qnap en ethernet 2.5GB



J'ai realisé des tests de perf en download (speedtest divers et variés).

OPNSENSE
## Test 1
quand la VM firewall est une Opnsense, avec deux cartes réseaux virtuelles (bridge proxmox correspondant au deux port de ma cartes SFP+)
- Depuis mon PC : debit max 2.1Gb/s
- Depuis une VM sur le proxmox 2 : debit max 2.1Gb/s

Utilisation CPU de la vm opnsense 80%


## Test 2
quand la VM firewall est une Opnsense, avec deux cartes réseaux psysique (pci passthrue ma cartes SFP+)
- Depuis mon PC : debit max 2.2Gb/s
- Depuis une VM sur le proxmox 2 : debit max 2.2Gb/s

Utilisation CPU de la vm opnsense 85%


PFSENSE

## Test 3 (NIC virtuelle)
Meme test avec pfsense = meme résultat qu'avec opnsense

## Test 4 (NIC physique)
Meme test avec pfsense = meme résultat qu'avec opnsense


VYOS

## Test 5
quand la VM firewall est une Vyos, avec deux cartes réseaux virtuelles (bridge proxmox correspondant au deux port de ma cartes SFP+)
- Depuis mon PC : debit max 2.3Gb/s
- Depuis une VM sur le proxmox 2 : debit max 2.4Gb/s

Utilisation CPU de la vm Vyos 85%


## Test 6
quand la VM firewall est une Vyos , avec deux cartes réseaux psysique (pci passthrue ma cartes SFP+)
- Depuis mon PC : debit max 2.3Gb/s
- Depuis une VM sur le proxmox 2 : debit max 2.4Gb/s

Utilisation CPU de la vm Vyos 85%

UNTANGLE (Ng Firewall)

## Test 7
quand la VM firewall est une Untangle, avec deux cartes réseaux virtuelles (bridge proxmox correspondant au deux port de ma cartes SFP+)
- Depuis mon PC : debit max 2.6Gb/s
Utilisation CPU de la vm Untangle 60%
- Depuis une VM sur le proxmox 2 : debit max 4Gb/s
Utilisation CPU de la vm Untangle 100%

## Test 8
quand la VM firewall est une Untangle , avec deux cartes réseaux psysique (pci passthrue ma cartes SFP+)
- Depuis mon PC : debit max 2.6Gb/s
Utilisation CPU de la vm Untangle 60%
- Depuis une VM sur le proxmox 2 : debit max 4,2Gb/s
Utilisation CPU de la vm Untangle 100%



Conclusion

Déjà, je ne suis pas certain du débit max sur Untangle, car je suis limité en CPU (je referais des test, mais la je suis coincé).

Ensuite, dans une VM, dans un promox sur u proc AMD, avec des cartes 10GB SFP+ Broadcom, un tangle est LARGEMENT plus performant que opnsense, pfsense, vyos. J'ai egalement rapidement fait des test avec une distrub ubuntu de base + iptables , et avec clearOS  j'ai les meme résultat que Vyos.

Je n'ai pas su expliquer pourquoi une telle différence.

Je reste donc avec Untangle.

Attention pour ceux qui voudraient l'utiliser, Untangle est un firewall (ok, ca fait aussi dhcp/dns de base) mais ont est pas sur une opnsense, avec ses 900000 plugins qui font le café et sauve les bébés phoques. Par contre c'est méchamment stable et fiable. Avec un reporting et une remote admion (+ centralisation) de folie. Et bien sur les perfs sont là.

En revanche, c'est payant
- 50€ home edition / ans pour 50 devices en simultanés , perso j'en ai plus que ca.
- 150 € home plus edition / ans pour 150 devices en simultanés , c'est ce que j'ai pris.

Il y a également une verison "free" (en gros, c'est la version home , avec des fonctions en moins)
-


Fuli10

  • Abonné Free fibre
  • *
  • Messages: 1 006
  • Conflans Sainte Honorine (78)
Freebox Delta / mode bridge / Firewall / Proxmox / performance
« Réponse #1 le: 04 janvier 2023 à 14:48:19 »
Hello
Ayant aussi mon fw en VM, je suis assez intéressé par ces résultats.
Il manque aussi je pense un test avec une VM openWRT, et surtout en baremetal (je ne sais avec quel OS) rien que pour avoir une référence.
Aussi, comme je vois que t'as plein de vCPU pour ta VM, peut-être qu'il te faut un truc équivalent à irqbalance dans tes images histoire de répartir les IRQ de tes NIC vers tous les vCPU plutôt que de charger un vCPU en particulier.

amapi

  • Abonné Free fibre
  • *
  • Messages: 33
  • cadolive 13950
Freebox Delta / mode bridge / Firewall / Proxmox / performance
« Réponse #2 le: 04 janvier 2023 à 15:52:40 »
Hello

Citer
peut-être qu'il te faut un truc équivalent à irqbalance dans tes images

Ca c'est déjà fait, ainsi que du multi queue (sur les nics). Et avec ça, je monte a 100% sur chaque vCPU avec Untangle.

Pour OpenWRT, il est déjà la pour mon wifi. J'ai pas trouvé un AP wifi potable avec multi SSID + vlan qui accepte "beaucoup de device" (vive la domotique) pour un prix "correct". Du coup, j'ai des routeur wifi + openwrt à la place, mais , effectivement, je n'ai pas pensé à tester en FW.

Pour le baremetal, ben :) j'attend la prochaine prime :p car me faut la machine, mais me faut aussi une nouvelle carte SFP+ (pour mettre dans mon proxmox (parce que je vais lui prendre celle en douible port pour la GW) + un DAC etttttt un switch SFP+ car je n'ai plus de port SFP+ de dispo.

c'est donc encore un petit coup de 500€ a sortir minimum


Mais des que j'ai, je test, c'est prevu

Fuli10

  • Abonné Free fibre
  • *
  • Messages: 1 006
  • Conflans Sainte Honorine (78)
Freebox Delta / mode bridge / Firewall / Proxmox / performance
« Réponse #3 le: 04 janvier 2023 à 17:23:47 »

Pour le baremetal, ben :) j'attend la prochaine prime :p car me faut la machine, mais me faut aussi une nouvelle carte SFP+ (pour mettre dans mon proxmox (parce que je vais lui prendre celle en douible port pour la GW) + un DAC etttttt un switch SFP+ car je n'ai plus de port SFP+ de dispo.


Bah l’intérêt serait surtout de le faire à hardware équivalent, donc sur ton PC promox mais sans promox quoi.
En tout cas avec openwrt c'est rapide: un coup de dd de l'image sur une clé USB et tu peux livebooter directement dessus. Du coup tu peux tester rapidement sur ta machine promox le temps d'un reboot + F12 (si possible essaye de récupérer tout les drivers nécessaire directement dans l'image + restaure de ta config que t'aura récupéré de la VM openwrt).

zoc

  • Abonné Orange Fibre
  • *
  • Messages: 4 283
  • Antibes (06) / Mercury (73)
Freebox Delta / mode bridge / Firewall / Proxmox / performance
« Réponse #4 le: 04 janvier 2023 à 20:49:29 »
La carte réseau est dédiée à la VM ? (en PCI passthrough quoi). Parce que bon, VirtIO c'est bien, mais la carte en direct dans l'OS c'est mieux.

amapi

  • Abonné Free fibre
  • *
  • Messages: 33
  • cadolive 13950
Freebox Delta / mode bridge / Firewall / Proxmox / performance
« Réponse #5 le: 04 janvier 2023 à 21:04:19 »
Concernant la carte réseau, j'ai test en virtio et en pci passthrue (c'est dans mon premier post), je n'ai pas de grande varion de perf.


Concernant le test en liveboot, je viens de test, ma carte sfp+ broadcom n'est pas reconnue (et je peux pas trop couper internet en ce moment :p )

Fuli10

  • Abonné Free fibre
  • *
  • Messages: 1 006
  • Conflans Sainte Honorine (78)
Freebox Delta / mode bridge / Firewall / Proxmox / performance
« Réponse #6 le: 04 janvier 2023 à 21:21:17 »
Concernant la carte réseau, j'ai test en virtio et en pci passthrue (c'est dans mon premier post), je n'ai pas de grande varion de perf.


Concernant le test en liveboot, je viens de test, ma carte sfp+ broadcom n'est pas reconnue (et je peux pas trop couper internet en ce moment :p )


Je connais ce problème de ne pas pouvoir couper le net.
Pour la carte réseau tu peux passer par la et ajouter des packages en plus dont le fameux kmod-bnx2x pour la carte broadcom.
J'aurais bien fait le test VM esxi vs promox pour openwrt mais de toute façon mon internet sature à 2.2Gbps (merci Orange) avec une charge max à 60% sur 2 vCPU (carte en passthrough car pas supporté en vIO).

amapi

  • Abonné Free fibre
  • *
  • Messages: 33
  • cadolive 13950
Freebox Delta / mode bridge / Firewall / Proxmox / performance
« Réponse #7 le: 04 janvier 2023 à 21:43:35 »
oki, je test ça :)

Question subsidiaire,

J'ai plusieurs proxmox, chacun ayant deux carte réseaus. Mais uniquement des cartes ethernets.

J'ai tenté de boot ma VM gw sur un un autre proxmox, mais cette fois, les bridges (vmbr) , en particulier le wan, est relié a la box sur son switch ethernet.

Du coup, dans cette configuration, je tente la freebox Delta en mode bridge, mais via ethernet. Et la, ma pate wan ne récupère pas d'IP.

La freebox delta ne peut faire que du bridge en SFP+ ? Pas en ethernet ? ou j'ai foiré quelque par ?





fansat70

  • Abonné Free fibre
  • *
  • Messages: 4 859
  • 70 - St Loup-sur-Semouse
    • Carte ZANRO/ZASRO-PM Haute Saône
Freebox Delta / mode bridge / Firewall / Proxmox / performance
« Réponse #8 le: 08 janvier 2023 à 14:01:40 »
oki, je test ça :)

Question subsidiaire,

J'ai plusieurs proxmox, chacun ayant deux carte réseaus. Mais uniquement des cartes ethernets.

J'ai tenté de boot ma VM gw sur un un autre proxmox, mais cette fois, les bridges (vmbr) , en particulier le wan, est relié a la box sur son switch ethernet.

Du coup, dans cette configuration, je tente la freebox Delta en mode bridge, mais via ethernet. Et la, ma pate wan ne récupère pas d'IP.

La freebox delta ne peut faire que du bridge en SFP+ ? Pas en ethernet ? ou j'ai foiré quelque par ?
Il me semble bien qu'une box en bridge ne donne à "bouffer" que sur une sortie, pas plusieurs. Si le SFP+ est connecté, il y a de fortes chances que ce soit cette sortie qui hérite de la sortie unique...
A moins qu'un reboot de la box avec uniquement une patte éthernet connectée fasse revenir la box "à la raison"...
C'est bien de tester l'ensemble des in-compatibilités de cette Delta...  ;) Je pense que cela a déjà été fait, mais il faut peut-être de longues heures de lecture... Quant à moi, je dois avouer que si j'ai déjà vu ce genre de tests, j'ai oublié... L'âge, peut-être!  ;)

amapi

  • Abonné Free fibre
  • *
  • Messages: 33
  • cadolive 13950
Freebox Delta / mode bridge / Firewall / Proxmox / performance
« Réponse #9 le: 08 janvier 2023 à 14:05:41 »
J'ai fait le test hier, effectivement, si je débranche le sfp+ et que je reboot la delta, alors je peux utiliser la box en bridge sur son Switch ethernet. Ce qui n'a globalement pas d'intérêt pour moi. Du coup, je vais attendre de m'acheter un Switch sfp+ pour relier les deux proxmox directement en sfp+ sur la delta , ainsi je pourrais faire ma migration de vm