Pages:
Actions
  • #1 par vivien le 07 Mar 2017
  • Serveur Dell PowerEdge R330 avec carte Intel X710-DA2 (2 ports 10 Gb/s) qui demande plus de lignes PCI express



    Je configure actuellement des serveurs Dell PowerEdge R330 équipé d'un Xeon E3-1240 v5 @3.50GHz (famille de processeurs Skylake, gravés en 14nm) et livrés avec une carte Intel 2 port 10 Gb/s de dernière génération : Intel Ethernet Converged Network Adapter X710-DA2 (Adaptateur réseau - PCI Express 3.0 x8)



    Pour situer, le serveur Dell PowerEdge R330 est le plus abordable des serveurs Dell à  avoir deux alimentations (Voie A / Voie B). C'est aussi le serveur Dell mono socket le plus haut de gamme (Dell ne propose plus de serveur mono socket équipés de Xeon E5-1xxx). Il est disponible avec 8 emplacements 2,5 pouces Hot Plug ou 4 emplacements 3,5 pouces Hot Plug.

    Bref il a une carte Intel Ethernet Converged Network Adapter X710-DA2 que Dell a mis dans un slot PCI Express demi hauteur.

    En boutant sur Ubuntu server 16.04.2 LTS avec Kernel 4.8, je remarque le message
    PCI-Express: Speed 8.0GT/s Width x4
    PCI-Express bandwidth available for this device may be insufficient for optimal performance.
    Please move the device to a different PCI-e link with more lanes and/or higher transfer rate.


    Dell semble avoir mis la carte sur un connecteur PCI Express 8x physiquement avec seulement 4x de câblé.

    Je me demande , si le driver dit juste que cela peut avoir un impact sur les performances où c'est erroné.

    En 4x en PCI express 3.0 (8 GT/s) on a un débit de 3.938 Go/s symétrique soit 31,504 Gb/s.
    En partant sur une efficacité de seulement 70% cela fait plus de 22 Gb/s disponible.
    => Pourquoi le pilote parle de risque de dégradation pour cette carte 2 x 10 Gb/s ?

    Je me suis trompé dans mes calculs ?

    Voici le dmesg en filtrant sur la carte réseau :

    $ dmesg | grep 0000:02
    [    0.191864] pci 0000:02:00.0: [8086:1572] type 00 class 0x020000
    [    0.191875] pci 0000:02:00.0: reg 0x10: [mem 0x92000000-0x92ffffff 64bit pref]
    [    0.191887] pci 0000:02:00.0: reg 0x1c: [mem 0x93008000-0x9300ffff 64bit pref]
    [    0.191896] pci 0000:02:00.0: reg 0x30: [mem 0xfff80000-0xffffffff pref]
    [    0.191933] pci 0000:02:00.0: PME# supported from D0 D3hot D3cold
    [    0.191952] pci 0000:02:00.0: System wakeup disabled by ACPI
    [    0.191978] pci 0000:02:00.1: [8086:1572] type 00 class 0x020000
    [    0.191988] pci 0000:02:00.1: reg 0x10: [mem 0x91000000-0x91ffffff 64bit pref]
    [    0.192000] pci 0000:02:00.1: reg 0x1c: [mem 0x93000000-0x93007fff 64bit pref]
    [    0.192009] pci 0000:02:00.1: reg 0x30: [mem 0xfff80000-0xffffffff pref]
    [    0.192044] pci 0000:02:00.1: PME# supported from D0 D3hot D3cold
    [    0.312195] pci 0000:02:00.0: can't claim BAR 6 [mem 0xfff80000-0xffffffff pref]: no compatible bridge window
    [    0.312199] pci 0000:02:00.1: can't claim BAR 6 [mem 0xfff80000-0xffffffff pref]: no compatible bridge window
    [    0.312987] pci 0000:02:00.0: BAR 6: assigned [mem 0x90100000-0x9017ffff pref]
    [    0.312991] pci 0000:02:00.1: BAR 6: assigned [mem 0x90180000-0x901fffff pref]
    [    0.314405] pci_bus 0000:02: resource 1 [mem 0x90100000-0x901fffff]
    [    0.314406] pci_bus 0000:02: resource 2 [mem 0x91000000-0x930fffff 64bit pref]
    [    0.717048] pci 0000:02:00.0: Signaling PME through PCIe PME interrupt
    [    0.717050] pci 0000:02:00.1: Signaling PME through PCIe PME interrupt
    [    2.822930] i40e 0000:02:00.0: fw 5.0.40043 api 1.5 nvm 5.04 0x800024c9 17.5.11
    [    3.394507] i40e 0000:02:00.0: MAC address: 3c:fd:fe:19:2f:00
    [    3.406488] i40e 0000:02:00.0: SAN MAC: 3c:fd:fe:19:2f:01
    [    4.628885] i40e 0000:02:00.0: Added LAN device PF0 bus=0x00 func=0x00
    [    4.637562] i40e 0000:02:00.0: PCI-Express: Speed 8.0GT/s Width x4
    [    4.646126] i40e 0000:02:00.0: PCI-Express bandwidth available for this device may be insufficient for optimal performance.
    [    4.654967] i40e 0000:02:00.0: Please move the device to a different PCI-e link with more lanes and/or higher transfer rate.
    [    4.694833] i40e 0000:02:00.0: Features: PF-id[0] VFs: 64 VSIs: 66 QP: 8 RSS FD_ATR FD_SB NTUPLE DCB VxLAN Geneve PTP VEPA
    [    4.719536] i40e 0000:02:00.1: fw 5.0.40043 api 1.5 nvm 5.04 0x800024c9 17.5.11
    [    4.972574] i40e 0000:02:00.1: MAC address: 3c:fd:fe:19:2f:02
    [    4.985240] i40e 0000:02:00.1: SAN MAC: 3c:fd:fe:19:2f:03
    [    5.106118] i40e 0000:02:00.1: Added LAN device PF1 bus=0x00 func=0x01
    [    5.114341] i40e 0000:02:00.1: PCI-Express: Speed 8.0GT/s Width x4
    [    5.122530] i40e 0000:02:00.1: PCI-Express bandwidth available for this device may be insufficient for optimal performance.
    [    5.130947] i40e 0000:02:00.1: Please move the device to a different PCI-e link with more lanes and/or higher transfer rate.
    [    5.145576] i40e 0000:02:00.1: Features: PF-id[1] VFs: 64 VSIs: 66 QP: 8 RSS FD_ATR FD_SB NTUPLE DCB VxLAN Geneve PTP VEPA
    [    5.154782] i40e 0000:02:00.0 enp2s0f0: renamed from eth0
    [    5.176473] i40e 0000:02:00.1 enp2s0f1: renamed from eth1

    lspci -vv :
    02:00.0 Ethernet controller: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ (rev 01)
    Subsystem: Intel Corporation Ethernet 10G 2P X710 Adapter
    Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx+
    Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
    Latency: 0
    Interrupt: pin A routed to IRQ 17
    Region 0: Memory at 92000000 (64-bit, prefetchable) [size=16M]
    Region 3: Memory at 93008000 (64-bit, prefetchable) [size=32K]
    Expansion ROM at 90100000 [disabled] [size=512K]
    Capabilities: [40] Power Management version 3
    Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
    Status: D0 NoSoftRst+ PME-Enable- DSel=8 DScale=1 PME-
    Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
    Address: 0000000000000000  Data: 0000
    Masking: 00000000  Pending: 00000000
    Capabilities: [70] MSI-X: Enable+ Count=129 Masked-
    Vector table: BAR=3 offset=00000000
    PBA: BAR=3 offset=00001000
    Capabilities: [a0] Express (v2) Endpoint, MSI 00
    DevCap: MaxPayload 2048 bytes, PhantFunc 0, Latency L0s <512ns, L1 <64us
    ExtTag+ AttnBtn- AttnInd- PwrInd- RBE+ FLReset+
    DevCtl: Report errors: Correctable- Non-Fatal+ Fatal+ Unsupported+
    RlxdOrd+ ExtTag+ PhantFunc- AuxPwr- NoSnoop- FLReset-
    MaxPayload 256 bytes, MaxReadReq 512 bytes
    DevSta: CorrErr+ UncorrErr- FatalErr- UnsuppReq+ AuxPwr- TransPend-
    LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L0s <2us, L1 <16us
    ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
    LnkCtl: ASPM Disabled; RCB 64 bytes Disabled- CommClk+
    ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
    LnkSta: Speed 8GT/s, Width x4, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
    DevCap2: Completion Timeout: Range ABCD, TimeoutDis+, LTR-, OBFF Not Supported
    DevCtl2: Completion Timeout: 65ms to 210ms, TimeoutDis-, LTR-, OBFF Disabled
    LnkCtl2: Target Link Speed: 2.5GT/s, EnterCompliance- SpeedDis-
    Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
    Compliance De-emphasis: -6dB
    LnkSta2: Current De-emphasis Level: -3.5dB, EqualizationComplete+, EqualizationPhase1+
    EqualizationPhase2-, EqualizationPhase3-, LinkEqualizationRequest-
    Capabilities: [e0] Vital Product Data
    Product Name: X710 10GbE Controller
    Read-only fields:
    [V0] Vendor specific: FFV17.5.11
    [PN] Part number: 5N7Y5
    [MN] Manufacture ID: 31 30 32 38
    [V1] Vendor specific: DSV1028VPDR.VER2.0
    [V3] Vendor specific: DTINIC
    [V4] Vendor specific: DCM10010391C521010391C512020391C523020391C514030391C525030391C516040391C527040391C518050391C529050391C51A060391C52B060391C51C070391C52D070391C51E080391C52F080391C5
    [V5] Vendor specific: NPY2
    [V6] Vendor specific: PMTA
    [V7] Vendor specific: NMVIntel Corp
    [V8] Vendor specific: L1D0
    [RV] Reserved: checksum good, 1 byte(s) reserved
    Read/write fields:
    [Y1] System specific: CCF1
    End
    Capabilities: [100 v2] Advanced Error Reporting
    UESta: DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
    UEMsk: DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt+ UnxCmplt+ RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
    UESvrt: DLP+ SDES+ TLP+ FCP+ CmpltTO+ CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC+ UnsupReq- ACSViol-
    CESta: RxErr- BadTLP- BadDLLP- Rollover- Timeout- NonFatalErr+
    CEMsk: RxErr+ BadTLP+ BadDLLP+ Rollover+ Timeout+ NonFatalErr+
    AERCap: First Error Pointer: 00, GenCap+ CGenEn+ ChkCap+ ChkEn+
    Capabilities: [140 v1] Device Serial Number 00-2f-19-ff-ff-fe-fd-3c
    Capabilities: [150 v1] Alternative Routing-ID Interpretation (ARI)
    ARICap: MFVC- ACS-, Next Function: 1
    ARICtl: MFVC- ACS-, Function Group: 0
    Capabilities: [1a0 v1] Transaction Processing Hints
    Device specific mode supported
    No steering table available
    Capabilities: [1b0 v1] Access Control Services
    ACSCap: SrcValid- TransBlk- ReqRedir- CmpltRedir- UpstreamFwd- EgressCtrl- DirectTrans-
    ACSCtl: SrcValid- TransBlk- ReqRedir- CmpltRedir- UpstreamFwd- EgressCtrl- DirectTrans-
    Capabilities: [1d0 v1] #19
    Kernel driver in use: i40e
    Kernel modules: i40e

    02:00.1 Ethernet controller: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ (rev 01)
    Subsystem: Intel Corporation Ethernet Converged Network Adapter X710
    Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx+
    Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
    Latency: 0
    Interrupt: pin A routed to IRQ 17
    Region 0: Memory at 91000000 (64-bit, prefetchable) [size=16M]
    Region 3: Memory at 93000000 (64-bit, prefetchable) [size=32K]
    Expansion ROM at 90180000 [disabled] [size=512K]
    Capabilities: [40] Power Management version 3
    Flags: PMEClk- DSI+ D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
    Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=1 PME-
    Capabilities: [50] MSI: Enable- Count=1/1 Maskable+ 64bit+
    Address: 0000000000000000  Data: 0000
    Masking: 00000000  Pending: 00000000
    Capabilities: [70] MSI-X: Enable+ Count=129 Masked-
    Vector table: BAR=3 offset=00000000
    PBA: BAR=3 offset=00001000
    Capabilities: [a0] Express (v2) Endpoint, MSI 00
    DevCap: MaxPayload 2048 bytes, PhantFunc 0, Latency L0s <512ns, L1 <64us
    ExtTag+ AttnBtn- AttnInd- PwrInd- RBE+ FLReset+
    DevCtl: Report errors: Correctable- Non-Fatal+ Fatal+ Unsupported+
    RlxdOrd+ ExtTag+ PhantFunc- AuxPwr- NoSnoop- FLReset-
    MaxPayload 256 bytes, MaxReadReq 512 bytes
    DevSta: CorrErr+ UncorrErr- FatalErr- UnsuppReq+ AuxPwr- TransPend-
    LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L0s <2us, L1 <16us
    ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
    LnkCtl: ASPM Disabled; RCB 64 bytes Disabled- CommClk+
    ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
    LnkSta: Speed 8GT/s, Width x4, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
    DevCap2: Completion Timeout: Range ABCD, TimeoutDis+, LTR-, OBFF Not Supported
    DevCtl2: Completion Timeout: 65ms to 210ms, TimeoutDis-, LTR-, OBFF Disabled
    LnkSta2: Current De-emphasis Level: -3.5dB, EqualizationComplete-, EqualizationPhase1-
    EqualizationPhase2-, EqualizationPhase3-, LinkEqualizationRequest-
    Capabilities: [e0] Vital Product Data
    Product Name: X710 10GbE Controller
    Read-only fields:
    [V0] Vendor specific: FFV17.5.11
    [PN] Part number: 5N7Y5
    [MN] Manufacture ID: 31 30 32 38
    [V1] Vendor specific: DSV1028VPDR.VER2.0
    [V3] Vendor specific: DTINIC
    [V4] Vendor specific: DCM10010391C521010391C512020391C523020391C514030391C525030391C516040391C527040391C518050391C529050391C51A060391C52B060391C51C070391C52D070391C51E080391C52F080391C5
    [V5] Vendor specific: NPY2
    [V6] Vendor specific: PMTA
    [V7] Vendor specific: NMVIntel Corp
    [V8] Vendor specific: L1D0
    [RV] Reserved: checksum good, 1 byte(s) reserved
    Read/write fields:
    [Y1] System specific: CCF1
    End
    Capabilities: [100 v2] Advanced Error Reporting
    UESta: DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
    UEMsk: DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt+ UnxCmplt+ RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
    UESvrt: DLP+ SDES+ TLP+ FCP+ CmpltTO+ CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC+ UnsupReq- ACSViol-
    CESta: RxErr- BadTLP- BadDLLP- Rollover- Timeout- NonFatalErr+
    CEMsk: RxErr+ BadTLP+ BadDLLP+ Rollover+ Timeout+ NonFatalErr+
    AERCap: First Error Pointer: 00, GenCap+ CGenEn+ ChkCap+ ChkEn+
    Capabilities: [140 v1] Device Serial Number 00-2f-19-ff-ff-fe-fd-3c
    Capabilities: [150 v1] Alternative Routing-ID Interpretation (ARI)
    ARICap: MFVC- ACS-, Next Function: 0
    ARICtl: MFVC- ACS-, Function Group: 0
    Capabilities: [1a0 v1] Transaction Processing Hints
    Device specific mode supported
    No steering table available
    Capabilities: [1b0 v1] Access Control Services
    ACSCap: SrcValid- TransBlk- ReqRedir- CmpltRedir- UpstreamFwd- EgressCtrl- DirectTrans-
    ACSCtl: SrcValid- TransBlk- ReqRedir- CmpltRedir- UpstreamFwd- EgressCtrl- DirectTrans-
    Kernel driver in use: i40e
    Kernel modules: i40e
  • #2 par vivien le 07 Mar 2017
  • Je regardé la facture Dell et là je suis étonné : Ils parlent d'un PCIe Riser avec 2 ports 16x, câblés en 8x, ce qui est parfait pour cette carte.


    Je démonte lors le serveur : Le PCIe Riser est l'élèment qui recouvre le slot 1 où est la carte 10G et le slot 2 qui est pleine hauteur et vide :


    Il y a également un emplacement interne utilisé par la carte RAID : (en haut de la photo)
    [/size]
  • #3 par vivien le 07 Mar 2017
  • Configuration PCI Express du serveur Dell PowerEdge R330 :
    - Port PCI Express N°1 : Physique 8x Carte RAID
    - Port PCI Express N°2 : Physique 16x Riser qui se transforme en un 16x câblé 8x et un 8x câblé 4x.
    - Port PCI Express N°3 : Non présent en format rack (1x qui n'est pas connecté au CPU mais au PCH)
    - Port PCI Express N°4 : Non présent en format rack (4x qui n'est pas connecté au CPU mais au PCH)


    En configuration tour, le port Physique 16x semble câblé en 8x uniquement, si je lit bien les inscriptions.

    Si c'est le cas, c'est que port PCI Express N°1 8x est câblé en 4x sur le CPU et non le PCH.

    Le Xeon E3-1240 v5 ne gère en effet que 16 lignes PCI Express directement.

    Le PCIe Riser livré qui ne semble pas correspondre a celui de la facture, mais je me demande comment faire un Rizer 2 x 8x sans dépasser les 16x du Xeon E3-1240 v5 :


    Dell a fait une erreur en promettant deux ports câblés 8x sur la facture ?
  • #4 par vivien le 07 Mar 2017
  • Le Slot 2 un 16x physique câblé 8x :


    Le Slot 1 un 8x physique câblé 4x :


    J'ai cherché logiciellement a ré-affecter les lignes du slot 2 inutilisé au slot 1 mais je n'ai pas trouvé.

    La carte Intel Ethernet Converged Network Adapter X710-DA2 :
  • #5 par macmonac le 07 Mar 2017
  • Salut,

    Dans le "owner manuel" du R330 page 83, il est indiqué que le LP est un 4x et le HP est un 8x.



    Ça sens l'erreur sur le BC.

    (cliquez sur la miniature ci-dessous - le document est au format PDF)


    As tu essayé de mettre la carte sans l'équerre dans le HP pour voir comment elle est détectée par le driver ?
    As tu fais un iperf pour voir les débits en 4X ?

    A+

    PS : Merci pour les modifs ça fait bizarre ;).
  • #6 par vivien le 08 Mar 2017
  • Je vais tester le débit en connectant deux serveurs entre eux.

    Pas de risque d'éblouissement, si il n'y a que 50cm  de fibre ?

    Le SFP+ utilisé :


    Il y a autre chose qui m’inquiète : la carte ne met note pas dans dmesg la présence du SFP+ dans un de ses ports.

    Sur un autre serveur Dell, avec une carte Intel Corporation Ethernet Server Adapter X520-2 (carte PCIe 2.0 8x avec chips Intel 82599ES), cela apparaît clairement :
    ixgbe 0000:01:00.0 p1p1: detected SFP+: 5

    Le dmesg complet :

    dmesg | grep 0000:01:00.
    [    0.188727] pci 0000:01:00.0: [8086:10fb] type 00 class 0x020000
    [    0.188736] pci 0000:01:00.0: reg 0x10: [mem 0xc5180000-0xc51fffff 64bit]
    [    0.188740] pci 0000:01:00.0: reg 0x18: [io  0x2020-0x203f]
    [    0.188750] pci 0000:01:00.0: reg 0x20: [mem 0xc5204000-0xc5207fff 64bit]
    [    0.188754] pci 0000:01:00.0: reg 0x30: [mem 0xfff80000-0xffffffff pref]
    [    0.188781] pci 0000:01:00.0: PME# supported from D0 D3hot
    [    0.188794] pci 0000:01:00.0: reg 0x184: [mem 0x00000000-0x00003fff 64bit]
    [    0.188795] pci 0000:01:00.0: VF(n) BAR0 space: [mem 0x00000000-0x000fffff 64bit] (contains BAR0 for 64 VFs)
    [    0.188807] pci 0000:01:00.0: reg 0x190: [mem 0x00000000-0x00003fff 64bit]
    [    0.188808] pci 0000:01:00.0: VF(n) BAR3 space: [mem 0x00000000-0x000fffff 64bit] (contains BAR3 for 64 VFs)
    [    0.188889] pci 0000:01:00.0: System wakeup disabled by ACPI
    [    0.188917] pci 0000:01:00.1: [8086:10fb] type 00 class 0x020000
    [    0.188926] pci 0000:01:00.1: reg 0x10: [mem 0xc5100000-0xc517ffff 64bit]
    [    0.188930] pci 0000:01:00.1: reg 0x18: [io  0x2000-0x201f]
    [    0.188940] pci 0000:01:00.1: reg 0x20: [mem 0xc5200000-0xc5203fff 64bit]
    [    0.188944] pci 0000:01:00.1: reg 0x30: [mem 0xfff80000-0xffffffff pref]
    [    0.188971] pci 0000:01:00.1: PME# supported from D0 D3hot
    [    0.188983] pci 0000:01:00.1: reg 0x184: [mem 0x00000000-0x00003fff 64bit]
    [    0.188984] pci 0000:01:00.1: VF(n) BAR0 space: [mem 0x00000000-0x000fffff 64bit] (contains BAR0 for 64 VFs)
    [    0.188996] pci 0000:01:00.1: reg 0x190: [mem 0x00000000-0x00003fff 64bit]
    [    0.188997] pci 0000:01:00.1: VF(n) BAR3 space: [mem 0x00000000-0x000fffff 64bit] (contains BAR3 for 64 VFs)
    [    0.541255] pci 0000:01:00.0: can't claim BAR 6 [mem 0xfff80000-0xffffffff pref]: no compatible bridge window
    [    0.541260] pci 0000:01:00.1: can't claim BAR 6 [mem 0xfff80000-0xffffffff pref]: no compatible bridge window
    [    0.541292] pci 0000:01:00.0: BAR 6: assigned [mem 0xc5280000-0xc52fffff pref]
    [    0.541297] pci 0000:01:00.1: BAR 6: no space for [mem size 0x00080000 pref]
    [    0.541300] pci 0000:01:00.1: BAR 6: failed to assign [mem size 0x00080000 pref]
    [    0.541305] pci 0000:01:00.0: BAR 7: no space for [mem size 0x00100000 64bit]
    [    0.541308] pci 0000:01:00.0: BAR 7: failed to assign [mem size 0x00100000 64bit]
    [    0.541313] pci 0000:01:00.0: BAR 10: no space for [mem size 0x00100000 64bit]
    [    0.541317] pci 0000:01:00.0: BAR 10: failed to assign [mem size 0x00100000 64bit]
    [    0.541321] pci 0000:01:00.1: BAR 7: no space for [mem size 0x00100000 64bit]
    [    0.541324] pci 0000:01:00.1: BAR 7: failed to assign [mem size 0x00100000 64bit]
    [    0.541329] pci 0000:01:00.1: BAR 10: no space for [mem size 0x00100000 64bit]
    [    0.541333] pci 0000:01:00.1: BAR 10: failed to assign [mem size 0x00100000 64bit]
    [    0.541424] pci 0000:01:00.0: res[7]=[mem size 0x00000000 64bit] res_to_dev_res add_size 100000 min_align 0
    [    0.541425] pci 0000:01:00.0: res[10]=[mem size 0x00000000 64bit] res_to_dev_res add_size 100000 min_align 0
    [    0.541426] pci 0000:01:00.1: res[7]=[mem size 0x00000000 64bit] res_to_dev_res add_size 100000 min_align 0
    [    0.541427] pci 0000:01:00.1: res[10]=[mem size 0x00000000 64bit] res_to_dev_res add_size 100000 min_align 0
    [    0.541428] pci 0000:01:00.0: BAR 0: assigned [mem 0xc5500000-0xc557ffff 64bit]
    [    0.541436] pci 0000:01:00.0: BAR 6: assigned [mem 0xc5580000-0xc55fffff pref]
    [    0.541441] pci 0000:01:00.1: BAR 0: assigned [mem 0xc5600000-0xc567ffff 64bit]
    [    0.541449] pci 0000:01:00.0: BAR 4: assigned [mem 0xc5680000-0xc5683fff 64bit]
    [    0.541457] pci 0000:01:00.0: BAR 7: assigned [mem 0xc5684000-0xc5783fff 64bit]
    [    0.541463] pci 0000:01:00.0: BAR 10: assigned [mem 0xc5784000-0xc5883fff 64bit]
    [    0.541469] pci 0000:01:00.1: BAR 4: assigned [mem 0xc5884000-0xc5887fff 64bit]
    [    0.541477] pci 0000:01:00.1: BAR 7: assigned [mem 0xc5888000-0xc5987fff 64bit]
    [    0.541483] pci 0000:01:00.1: BAR 10: assigned [mem 0xc5988000-0xc5a87fff 64bit]
    [    0.981388] pci 0000:01:00.0: Signaling PME through PCIe PME interrupt
    [    0.981390] pci 0000:01:00.1: Signaling PME through PCIe PME interrupt
    [    3.939315] ixgbe 0000:01:00.0: Multiqueue Enabled: Rx Queue count = 8, Tx Queue count = 8
    [    3.939453] ixgbe 0000:01:00.0: PCI Express bandwidth of 32GT/s available
    [    3.939454] ixgbe 0000:01:00.0: (Speed:5.0GT/s, Width: x8, Encoding Loss:20%)
    [    3.939549] ixgbe 0000:01:00.0: MAC: 2, PHY: 18, SFP+: 5, PBA No: E66560-005
    [    3.939550] ixgbe 0000:01:00.0: 90:e2:ba:19:f7:50
    [    3.943358] ixgbe 0000:01:00.0: Intel(R) 10 Gigabit Network Connection
    [    5.125108] ixgbe 0000:01:00.1: Multiqueue Enabled: Rx Queue count = 8, Tx Queue count = 8
    [    5.141672] ixgbe 0000:01:00.1: PCI Express bandwidth of 32GT/s available
    [    5.150486] ixgbe 0000:01:00.1: (Speed:5.0GT/s, Width: x8, Encoding Loss:20%)
    [    5.159036] ixgbe 0000:01:00.1: MAC: 2, PHY: 1, PBA No: E66560-005
    [    5.167529] ixgbe 0000:01:00.1: 90:e2:ba:19:f7:51
    [    5.177085] ixgbe 0000:01:00.1: Intel(R) 10 Gigabit Network Connection
    [    5.190224] ixgbe 0000:01:00.1 p1p2: renamed from eth1
    [    5.218214] ixgbe 0000:01:00.0 p1p1: renamed from eth0
    [   14.665893] ixgbe 0000:01:00.0: registered PHC device on p1p1
    [   14.845086] ixgbe 0000:01:00.0 p1p1: detected SFP+: 5
    [   15.109109] ixgbe 0000:01:00.0 p1p1: NIC Link is Up 10 Gbps, Flow Control: RX/TX
  • #7 par Hugues le 08 Mar 2017
  • Je vais tester le débit en connectant deux serveurs entre eux.

    C'est juste un LR ? Si oui, tu peux, si c'est des ER, tu risques de griller l'optique par contre.
  • #8 par macmonac le 08 Mar 2017
  • Je pense que le problème est différent et ça ne marchera probablement pas ....

    Nous avons des E10G42AFDA et deviez quoi ....

    Le DA semble être pour DirectAttach -> Ce qui veut dire, uniquement avec des câbles SFP+ TwinAX

    X710-DA2 -> DA c'est pour ?

    Sinon, lors du boot, nous avions le message : ( je le met quand j'arrive a le retrouver ;) )

    A+
  • #9 par macmonac le 08 Mar 2017
  • Il semble bien y avoir les mêmes restrictions sur les cartes X710 : http://www.intel.fr/content/www/fr/fr/support/network-and-i-o/ethernet-products/000007045.html

    A+
  • #10 par vivien le 08 Mar 2017
  • C'est juste un LR ? Si oui, tu peux
    Oui c'est un SFP+ 10GBase-LR

    Il semble bien y avoir les mêmes restrictions sur les cartes X710 : http://www.intel.fr/content/www/fr/fr/support/network-and-i-o/ethernet-products/000007045.html

    Tu me fais peur !

    Bon j'ai été voir la doc : Toutes les cartes sont des DA2 (2 ports) ou DA4 (4 ports) et l'optique est bien supporté en plus de Direct Attach :
    X710 adapters with SFP+ connections support 10GBASE-SR, 10GBASE-LR and SFP+ Direct Attach Copper (DAC) physical media.

    (cliquez sur la miniature ci-dessous - le document est au format PDF)




  • #11 par macmonac le 08 Mar 2017
  • OK cool. Moi C'était pas la même surprise 😉
  • #12 par vivien le 13 Mar 2017
  • Dell a reconnu son erreur rapidement, et me revoit des cartes Intel X710 qui vont se connecter sur le port pleine hauteur.


    Cela ne devrait plus arriver a d'autres clients : leurs outils vont être corrigés.

    A noter que j'avais fait un devis chez HP, qui m'avais refusé ce type de Intel X710 sur son serveur Proliant DL20 Gen9. La raison me semble simplement que cette carte haut de gamme n'a pas été validée avec ce serveur bas de gamme.
Pages:
Actions