Auteur Sujet: Switch Mikrotik 2ports 10g et 24ports 1g à 260€ TTC  (Lu 10427 fois)

0 Membres et 1 Invité sur ce sujet

vivien

  • Administrateur
  • *
  • Messages: 46 994
    • Twitter LaFibre.info
Switch Mikrotik 2ports 10g et 24ports 1g à 260€ TTC
« le: 05 mars 2016 à 12:55:37 »
Mikrotik CRS226-24G-2S+RM : un switch "top of rack" à 260€TTC


- 24 ports Ethernet 10/100/1000 Mb/s
- 2 ports SFP 10Gb/s
- Ecran LCD
- CPU Qualcomm Atheros QCA8519 400 MHz
- Architecture MIPS-BE
- Performance : 8 mpps en standard - 14 mpps en mode fastpathn
- 64Mo de mémoire vive
- Stockage Flash 128 Mo
- Montage Rack 1U
- Alimentation interne 110V / 220V

Système d'exploitation RouterOS
- Adressage natif IPV4 et IPV6
- Routage static et dynamique ( RIP OSPF BGP )
- Gestion des Tunnels GRE IPIP EOIP PPTP L2TP PPPOE IPSEC
- Protocole MPLS VPNV4 VPLS Traffic Engineering
- Services SNMP VRRP DynDNS HotSpot
- Administration telnet ssh winbox, gestion du rollback

Son utilisation chez Newsoo :

Optix

  • AS41114 - Expert OrneTHD
  • Abonné Orne THD
  • *
  • Messages: 4 632
  • WOOHOO !
    • OrneTHD
Switch Mikrotik 2ports 10g et 24ports 1g à 260€ TTC
« Réponse #1 le: 05 mars 2016 à 14:36:28 »
Bon allez, après 24h d'utilisation en production, voici mon retour.

Pour poser le cadre, maintenant, Newsoo tourne exclusivement sur du matos Mikrotik, aussi bien les routeurs que les switchs.

Avant, j'avais du Cisco, je reste déçu par les performances (5 minutes pour booter, 30sec pour faire l'autoneg, sérieusement ?), le coût et le manque d’ergonomie. Je tournais en LACP 5x 1G avec mon routeur, et le Cisco n'arrivait pas à équilibrer la charge correctement (car le mien n'arrivait pas à faire du layer3+4). Donc même si un lien était à 800M déjà, le Cisco s'en bat les couilles il est capable d'envoyer de nouveaux flux dessus alors qu'il y a des liens à 200M à peine. Cisco semble faire du bon boulot, mais ça reste réservé à des gens plus calés que moi :)

Bref, là j'ai mis un MKT CRS226 à la place. Le prix est tellement WTF que j'en ai pris 2 sans trop longtemps hésiter. Et clairement, ça n'a rien à voir... Tu le branches, en 10sec ça boote et ça commence à clignoter sévère ! Le petit LCD à l'avant est là pour te dire "là je gère X Gbps, envoie la purée". La config est à la fois simple et complète (plus tu avances dans les onglets de paramétrage, plus il faut avoir Bac+10 ^^). Personnellement je n'utilise aucune fonction exotique, pas de L3, pas de VLAN, bref moi mon seul besoin, c'est de brancher et que ça bombarde à fond les ballons (l'uplink 10G va pas mal aider ^^), donc ce switch correspond bien à mes attentes :)

Points positifs :
  • Consommation (20 watts environ)
  • Rapport qualité/prix.
  • Temps de boot (10sec environ)

Points négatifs :
  • CPU beaucoup trop faible, il faut vraiment rester sur les fonctionnalités L2 pour garder les performances...
  • ... du coup beaucoup de fonctionnalités sont à éviter, genre BGP fullview ou firewall.
  • Pas de double alim

Donc voilà, ça tourne pas mal. Ca me libère des ports, donc on peut encore racker du stockage ^^

Pièces jointes : l'admin, le switch en prod (jaune le stockage, vert le traitement, rouge les anciens cables de l'uplink que j'ai viré) et les routeurs à l'avant (plus aéré maintenant :p ). Le câble 10G c'est le gros truc noir (DAC).

Leon

  • Client SFR sur réseau Numericable
  • Modérateur
  • *
  • Messages: 5 961
Switch Mikrotik 2ports 10g et 24ports 1g à 260€ TTC
« Réponse #2 le: 05 mars 2016 à 16:47:25 »
Salut Optix.
Tu peux stp nous dire pouquoi tu as migré de 2x1Gb/s à 10Gb/s? Est-ce que c'est simplement l'utilisation de la bande passante qui grossit?

Sinon, le câblage mériterai d'être plus propre, plus structuré... Et puis j'ai toujours du mal à voir l'intérêt d'utiliser des câbles Ethernet plats sur une telle application. Ca fait passer du 1Gb/s ces câbles là?

Leon.

BadMax

  • Client Free adsl
  • Expert
  • *
  • Messages: 3 481
  • Malissard (26)
Switch Mikrotik 2ports 10g et 24ports 1g à 260€ TTC
« Réponse #3 le: 05 mars 2016 à 17:10:15 »
Optix, un LAG sur un switch ne sert pas à équilibrer le trafic, il sert à agréger d'où le nom: Link AGregate. Le choix du lien est déterministe et basé sur un filtre paramétrable genre l'@ MAC, l'IP, un champ TCP, etc. Pourquoi ? parce que si on envoyait les trames n'importe comment on aurait un problème de re-ordering des trames à l'arrivée -> dégradation des perfomances (y'a mêmes des OS qui droppent les connexions).

En conséquence, c'est à l'admin (toi :)) de choisir le bon filtre pour équilibrer le trafic en fonction du type de session.

Sinon prix sympa pour 24G + 2x SFP+. Heureusement que ça ne charge pas une full view, aucun switch L3 "fixe" n'en est capable sur le marché :) (CPU trop petit, pas assez de RAM, ASIC pas dimensionné).



Optix

  • AS41114 - Expert OrneTHD
  • Abonné Orne THD
  • *
  • Messages: 4 632
  • WOOHOO !
    • OrneTHD
Switch Mikrotik 2ports 10g et 24ports 1g à 260€ TTC
« Réponse #4 le: 05 mars 2016 à 17:27:38 »
Salut Optix.
Tu peux stp nous dire pouquoi tu as migré de 2x1Gb/s à 10Gb/s? Est-ce que c'est simplement l'utilisation de la bande passante qui grossit?

Sinon, le câblage mériterai d'être plus propre, plus structuré... Et puis j'ai toujours du mal à voir l'intérêt d'utiliser des câbles Ethernet plats sur une telle application. Ca fait passer du 1Gb/s ces câbles là?

Leon.

A la base l'équilibrage de charge du LACP était mal fichu, car mon switch Cisco ne faisait que du layer3 (càd il sépare le trafic par IP sur les liens physiques). Mon besoin court terme était d'avoir du layer3+4 (càd, que le switch tienne compte du port pour mieux équilibrer le trafic). Je me retrouvais donc avec des liens ultra chargés et d'autres quasiment vides.

Mon trafic est divisé en 2 catégories :
- Le trafic avec les abonnés : ça fait de 1 à 30 Mbps en gros, par session TCP (j'en propose 10, fixe).
- Le trafic entre fournisseurs Usenet : ça fait 100 à 2Gbps par session TCP (nbre aléatoire de sessions).

Sauf que le switch ne tient pas compte du port, alors que ça permettrait d'équilibrer parfaitement la charge. Que se passe-t-il ? Mes flux avec mes confrères s'échangent sur le 1er lien 1Gbps, il y a peu d'IP différentes (mais beaucoup de trafic). Le switch se dit "bah tiens, j'ai pas beaucoup d'IP sur ce premier lien, donc les nouvelles connexions je vais pousser là dessus"... alors que le lien est déjà plein !

Du coup ça se traduit par des débits qui plafonnent et une impossibilité à faire face à mon trafic qui grossit. Des tests iperfs avaient donné des résultats très aléatoires (de 100M à 700Mbps par test). J'en suis même venu à multiplier mes IP par machine pour équilibrer plus finement le truc. C'était assez marrant (ou honteux) d'aller jusqu'à 8 IP par machine pour gratter qq précieux Mbps :p

Après réflexion, je me suis dit qu'il vaut mieux passer sur du 10G directement pour être serein pendant qq mois plutôt qu'à jouer avec du LACP qui m'aurait donné seulement que qq semaines de répit.

PS : L'intérêt des câbles plats : ils ne s’emmêlent jamais. Après mon intervention, je les serre dans du velcro et dès que j'ai besoin d'intervenir, je détache et je retrouve très vite où va où. Et oui ça fait bien du gigabit. :)

Citer
En conséquence, c'est à l'admin (toi :)) de choisir le bon filtre pour équilibrer le trafic en fonction du type de session.
Choisir n'est pas un souci, mais sortir le chéquier pour avoir le switch qui a LE filtre ça facilite mon transit intestinal. Je préfère investir dans des disques pour arriver au même niveau que les gros.

Citer
parce que si on envoyait les trames n'importe comment on aurait un problème de re-ordering des trames à l'arrivée -> dégradation des perfomances (y'a mêmes des OS qui droppent les connexions).
Les Mikrotik et les machines Linux/Unix savent faire du bonding en "balance-rr". Là l'équilibrage est -vraiment- parfait, au paquet près ! Sauf qu'avec le switch d'avant j'étais "enfermé" dans leur LACP à la noix. Mais bon, cela dit ça m'a bien aidé à monter dans les tours donc ça m'a bien dépanné malgré ce souci. ;)

BadMax

  • Client Free adsl
  • Expert
  • *
  • Messages: 3 481
  • Malissard (26)
Switch Mikrotik 2ports 10g et 24ports 1g à 260€ TTC
« Réponse #5 le: 05 mars 2016 à 17:57:28 »
Les Mikrotik et les machines Linux/Unix savent faire du bonding en "balance-rr". Là l'équilibrage est -vraiment- parfait, au paquet près ! Sauf qu'avec le switch d'avant j'étais "enfermé" dans leur LACP à la noix. Mais bon, cela dit ça m'a bien aidé à monter dans les tours donc ça m'a bien dépanné malgré ce souci. ;)

Essaye avec un NetApp ou mets une base Oracle sur ton Linux tu vas voir ce que ça fais... les flux temps réel n'aiment pas trop non plus.


vivien

  • Administrateur
  • *
  • Messages: 46 994
    • Twitter LaFibre.info
Switch Mikrotik 2ports 10g et 24ports 1g à 260€ TTC
« Réponse #6 le: 05 mars 2016 à 18:28:47 »
Il est fortement déconseillé que les flux d'une même connexion TCP puissent passer par des liens différents. A 1Gb/s, les paquets sont très proches les un des autres et ils ont une probabilité très forte d'arriver dans le désordre d'où un débit faible sur une seule connexion TCP et des retransmissions inutiles.

Ce qui est conseillé, c'est le bonding Mode 4 : IEEE 802.3ad : avec  une répartition du trafic se fait par un hash XOR (eXclusive OR ou OU exclusif) en fonction des arguments sélectionnables suivants :  les adresses IP (source et ou destination) et le port applicatif (destination).

Le hash XOR par adresse mac est a fuir pour ton utilisation. Cela va mettre les paquets dans un même lien.

Ce type de Bonding, j'ai un client qui l'utilise pour une agrégation de 80 liens (le max supporté par Cisco) et cela fonctionne bien : la charge est identique a pour ou moins 1%. Cela se vérifie aussi sur le wethermap d'OVH.

Etherchannel - Bonding :

Coté linux, Etherchannel s'appelle bondind et se matérialise sous la forme d'un module disponible en standard dans le noyau. Comme pour le switch, on regroupe plusieurs interfaces physiques (ethx) sur une interface logique (nommée bondx, x est le numéro de l'interface). Les solutions offertes par le bonding sont nombreuses :

- Mode 0 : Round Robin (équilibrage de charge) : Ce mode augmente la bande passante et gère la tolérance de panne. Groupement de ports pour load balancing et Failover : Le trafic sortant de l'interface est émis alternativement sur chacune des interfaces. Les ports du switch sont groupés avec Etherchannel. Par contre la configuration est statique sans protocole PagP ou LACP (802.3ad).


- Mode 1 : Active - passive / Active backup : Failover seulement : Seule une des interfaces physique est active et répond au requêtes arp. Pas de propriétés particulière sur le switch.

- Mode 2 : Balance-XOR : Groupement de ports pour load balancing et Failover : Le switch est configuré en Etherchannel. Dans le sens sortant, le serveur Linux choisit l'interface physique en fonction de l'adresse mac (source ou destination, ou XOR sur les deux). Sur le switch Cisco, Etherchannel fonctionne aussi sur ce principe (le load balancing effectué sur le switch concerne le trafic entrant sur le serveur Linux). Ainsi les transferts sont parallélisés et le choix de l'interface suit la règle : (Adresse MAC de la source XOR Adresse MAC de la destination) modulo nombre d'interfaces.

- Mode 3 : Broadcast : Failover seulement : Le trafic est transmis sur toutes les interfaces physiques.

- Mode 4 : IEEE 802.3ad : Groupement de ports pour load balancing et Failover : Fonctionne les switchs Ethernet qui supportent cette norme. Le mécanisme de load blancing est similaire à celui du mode Balance-XOR.Il est basé sur le principe qui consiste à affecter toujours le même chemin à la même machine en fonction du couple IP source / IP destination / port. Cela implique que le switch gère le 802.ad et que les interfaces soient compatibles mii-tool et/ou ethtool.

La répartition du trafic se fait par un hash XOR (eXclusive OR ou OU exclusif) en fonction des arguments sélectionnables suivants :
  • les adresses MAC(source et ou destination)
  • les adresses IP (source et ou destination)
  • le port applicatif (destination)

Tous les ports d'un groupe doivent obligatoirement être paramétrés à la même vitesse, même duplex (full/half), même VLAN, même mode (access/trunk).

- Mode 5 : Adaptive transmit load balancing (balance-tlb) : Load balancing dans le sens sortant uniquement : Le trafic sortant de l'interface est émis de sur l'une ou l'autre des interfaces physique en fonction de le charge. Dans le sens entrant, une seule des interfaces physique répond au requêtes ARP. Aucune configuration particulière n'est nécessaire sur le switch. Les drivers de la carte ethernet sur le serveur Linux doivent être compatibles ethool.

- Mode 6 : Adaptative load balancing (balance-alb) : Load balancing dans les deux sens. Reprend le mécanisme balance-tlb dans le sens sortant. Dans le sens entrant, le bonding intercepte les requêtes ARP pour renvoyer alternativement l'adresse des interfaces physiques.
Adaptive load balancing : ce mode inclut en plus du tlb un load balancing sur le flux entrant et seulement pour un trafic IPV4. L'équilibrage est réalisé au niveau ARP. Le module intercepte les réponses pour y réécrire l'adresse MAC de l'une des interfaces du bond tout en tenant compte des spécificités du protocole ARP. La répartition entre les différentes interfaces, se fait de façon séquentielle ( round robin ).

Tous ces modes sont listés et expliqués dans la documentation du module bonding qui est livrée avec les sources du noyau. Cette même documentation est aussi accessible dans sa toute dernière mouture sur le site http://www.sourceforge.net/projects/bonding

Le mode 4 IEEE 802.3ad est conseillé avec des switch Cisco


Exemple de fichier de configuration en mode IEEE 802.3ad avec Ubuntu :
(mode 4 - conseillé avec un switch Cisco)

- Vérifier que le paquet pour gérer le bonding est bien installé (c'est généralement le cas avec les distributions serveur) :
apt install ifenslave-2.6

- Définition du type de bonding a utiliser :
nano -w /etc/modprobe.d/aliase-bond.conf


alias bond0 bonding
options bonding mode=4 xmit_hash_policy=layer3+4 miimon=100 downdelay=200 updelay=200

mode=4 : signifie que nous utilisons le mode 802.3ad
xmit_hash_policy=layer3+4 : choix de l'interface en upload via les info niveau 3 (IP source et IP destination) et 4 (port source et port destination). Par défaut c'est le niveau 2 (adresse mac) => Dans la cas d'un serveur avec une passerelle par défaut, tout le trafic hors du réseau local part via la même interface. Cela ne concerne que l'upload. Pour le download, la configuration se fait sur le switch.
miimon=100 : une vérification de l'état des interfaces physiques est effectuée toutes les 100ms.


-  Définition de l'interface réseau :
nano -w /etc/network/interfaces
# The primary network interface
#auto eth0
#iface eth0 inet dhcp

auto eth0
auto eth1
auto bond0
iface bond0 inet static
      address 138.21.127.54
      netmask 255.255.255.240
      network 138.21.127.48
      broadcast 138.21.127.63
      gateway 138.21.127.62
      up /sbin/ifenslave bond0 eth0 eth1
      down /sbin/ifenslave -d bond0 eth0 eth1

Certaines machines vont utiliser eth0 et d'autres eth1. A noter qu'un même PC, même protocole et même port peut utiliser eth0 en download et eth1 en upload.

En cas de panne d'une des deux liaisons, le trafic passe intégralement par l'autre.
En cas de ré-installation du serveur : l'accès internet est possible dès l'installation sans le bonding et sans re-configuration du routeur.

Symbol

  • AS52075 Wifirst
  • Expert
  • *
  • Messages: 349
Switch Mikrotik 2ports 10g et 24ports 1g à 260€ TTC
« Réponse #7 le: 06 mars 2016 à 14:34:01 »
30sec pour faire l'autoneg, sérieusement ?
Absolument pas.
Switch non configuré. PVST+ et interface pas en portfast. Listening + Learning = 30s.
Bref, problème au niveau de l'interface chaise-clavier.
Personnellement je n'utilise aucune fonction exotique, pas de L3, pas de VLAN
Ah bah oui, pour un switch/routeur, du L3 et du VLAN c'est totalement exotique.
En voiture, pas de fonctions exotiques! Ni marche arrière ni essuie-glace.
Points positifs :
  • Temps de boot (10sec environ)
C'est comme Brocade alors: ça boote vite. Ça tombe bien, faut souvent rebooter  ;D
Points négatifs :
  • CPU beaucoup trop faible, il faut vraiment rester sur les fonctionnalités L2 pour garder les performances...
  • ... du coup beaucoup de fonctionnalités sont à éviter, genre BGP fullview ou firewall.
Bonjour, mon switch ne fait pas le café ni le thé, et de plus il ne sait pas changer un pneu, est-ce normal ?  :D
Bref, c'est un switch, en somme.

Symbol

  • AS52075 Wifirst
  • Expert
  • *
  • Messages: 349
Switch Mikrotik 2ports 10g et 24ports 1g à 260€ TTC
« Réponse #8 le: 06 mars 2016 à 14:38:24 »
A la base l'équilibrage de charge du LACP était mal fichu, car mon switch Cisco ne faisait que du layer3 (càd il sépare le trafic par IP sur les liens
Quel modèle?
Le switch se dit "bah tiens, j'ai pas beaucoup d'IP sur ce premier lien, donc les nouvelles connexions je vais pousser là dessus"... alors que le lien est déjà plein !
Pas du tout. Mais RTFM.
Les Mikrotik et les machines Linux/Unix savent faire du bonding en "balance-rr". Là l'équilibrage est -vraiment- parfait, au paquet près ! Sauf qu'avec le switch d'avant j'étais "enfermé" dans leur LACP à la noix.
On en a pendus pour moins que ça. Cf message de vivien.
Une fois de plus, problème interface chaise-clavier.

vivien

  • Administrateur
  • *
  • Messages: 46 994
    • Twitter LaFibre.info
Switch Mikrotik 2ports 10g et 24ports 1g à 260€ TTC
« Réponse #9 le: 06 mars 2016 à 15:27:45 »
Personnellement je n'utilise aucune fonction exotique, pas de L3, pas de VLAN
Ah bah oui, pour un switch/routeur, du L3 et du VLAN c'est totalement exotique.
En voiture, pas de fonctions exotiques! Ni marche arrière ni essuie-glace.

Je te conseilles de ne surtout pas regarder les caractéristiques de mon switch 8 ports 10 Gb/s.

Il fait switch de base, mais vraiment de base, genre la voiture sans sièges. Les quelques choses qu'il est possible de configurer, comme les VLAN, il faut passer par un utilitaire propriétaire, qui demande Windows (et pas question de l'utiliser dans Wine, il faut installer des applications Adobe en plus de son exécutable).
Perso, je le savais et je n'ai aucunement besoin d'un switch administrable.


Fiche technique du Netgear ProSAFE PLUS XS708E :


Symbol

  • AS52075 Wifirst
  • Expert
  • *
  • Messages: 349
Switch Mikrotik 2ports 10g et 24ports 1g à 260€ TTC
« Réponse #10 le: 06 mars 2016 à 15:40:47 »
Les quelques choses qu'il est possible de configurer, comme les VLAN, il faut passer par un utilitaire propriétaire, qui demande Windows (et pas question de l'utiliser dans Wine, il faut installer des applications Adobe en plus de son exécutable).
Perso, je le savais et je n'ai aucunement besoin d'un switch administrable.
Le switch semi-administrable par utilitaire, je savais que ça se vendait, mais pas que ça s'achetait en connaissance de cause  :P
Vu le prix d'un Ciscolinksys avec CLI, ou même d'un simple D-Link, ça me parait toujours extraordinaire.

vivien

  • Administrateur
  • *
  • Messages: 46 994
    • Twitter LaFibre.info
Switch Mikrotik 2ports 10g et 24ports 1g à 260€ TTC
« Réponse #11 le: 06 mars 2016 à 15:50:43 »
Tu me trouve une référence avec 8 ports 10 Gb/s (10 Gbase-T ou SFP+ les deux me vont) à un prix similaire ?