Auteur Sujet: Perte du réseau 10Gb/s (driver i40e) depuis le passage au Kernel 4.15  (Lu 7128 fois)

0 Membres et 1 Invité sur ce sujet

vivien

  • Administrateur
  • *
  • Messages: 47 075
    • Twitter LaFibre.info
J'ai encore un souci avec les cartes réseau 10 Gb/s Intel X710-DA2 ou plutôt son driver Linux i40e depuis le passage en Kernel 4.15

Copie d'écran via iDrac :


Aujourd'hui, 2 juillet 2018, Les Ubuntu 16.04 LTS avec le LTS Enablement Stacks basculent sur le kernel 4.15, celui d'Ubuntu 18.04, en remplacement de celui 4.13 d'Ubuntu 17.10.

Pour rappel, il ya deux Kernel possible pour Ubuntu 16.04 :  Soit l'ancien Kernel 4.4 soit un Kernel qui change tous les 6 mois


Au redémarrage avec le nouveau noyau, je n'ai plus de réseau.

J'ai les 3 lignes qui s'affichent boucle :
[   92.892084] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 9, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[   92.892105] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 10, hung_queue 9
[   92.892111] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery unsuccessful


le log du boot en filtrant sur i40e :

[    1.798460] i40e: Intel(R) Ethernet Connection XL710 Network Driver - version 2.1.14-k
[    1.798472] i40e: Copyright (c) 2013 - 2014 Intel Corporation.
[    1.859777] i40e 0000:01:00.0: fw 5.0.40043 api 1.5 nvm 5.05 0x80002899 0.0.0
[    2.151338] i40e 0000:01:00.0: MAC address: 3c:fd:fe:1d:76:60
[    2.207253] i40e 0000:01:00.0 eth0: NIC Link is Up, 10 Gbps Full Duplex, Flow Control: RX/TX
[    2.255584] i40e 0000:01:00.0: PCI-Express: Speed 8.0GT/s Width x8
[    2.281368] i40e 0000:01:00.0: Features: PF-id[0] VFs: 64 VSIs: 66 QP: 16 RSS FD_ATR FD_SB NTUPLE DCB VxLAN Geneve PTP VEPA
[    2.293600] i40e 0000:01:00.1: fw 5.0.40043 api 1.5 nvm 5.05 0x80002899 0.0.0
[    2.535991] i40e 0000:01:00.1: MAC address: 3c:fd:fe:1d:76:62
[    2.540775] i40e 0000:01:00.1: PCI-Express: Speed 8.0GT/s Width x8
[    2.541473] i40e 0000:01:00.1: Features: PF-id[1] VFs: 64 VSIs: 66 QP: 8 RSS FD_ATR FD_SB NTUPLE DCB VxLAN Geneve PTP VEPA
[    2.542460] i40e 0000:01:00.1 enp1s0f1: renamed from eth1
[    2.569209] i40e 0000:01:00.0 enp1s0f0: renamed from eth0
[   11.996100] NETDEV WATCHDOG: enp1s0f0 (i40e): transmit queue 14 timed out
[   11.996154]  crc32_pclmul mgag200 i2c_algo_bit ghash_clmulni_intel pcbc ttm drm_kms_helper syscopyarea sysfillrect sysimgblt fb_sys_fops aesni_intel i40e aes_x86_64 tg3 crypto_simd glue_helper ahci cryptd drm ptp libahci megaraid_sas pps_core wmi video
[   11.996233] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 14, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[   11.996235] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 14
[   11.996936] i40e 0000:01:00.0: VSI seid 388 Tx ring 8 disable timeout
[   17.884082] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 11, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[   17.884088] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 2, hung_queue 11
[   17.934628] i40e 0000:01:00.0: VSI seid 388 Tx ring 8 disable timeout
[   26.844091] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 9, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[   26.844096] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 3, hung_queue 9
[   26.894536] i40e 0000:01:00.0: VSI seid 388 Tx ring 8 disable timeout
[   30.028390] i40e 0000:01:00.0 enp1s0f0: NIC Link is Down
[   35.138371] i40e 0000:01:00.0 enp1s0f0: NIC Link is Up, 10 Gbps Full Duplex, Flow Control: None
[   36.716774] i40e 0000:01:00.0: VSI seid 388 Tx ring 8 disable timeout
[   46.812083] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 9, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[   46.812088] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 4, hung_queue 9
[   46.812089] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery unsuccessful
[   51.932083] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 9, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[   51.932088] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 5, hung_queue 9
[   51.932090] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery unsuccessful
[   61.916082] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 9, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[   61.916087] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 6, hung_queue 9
[   61.916088] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery unsuccessful
[   71.900082] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 9, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[   71.900105] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 7, hung_queue 9
[   71.900110] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery unsuccessful
[   77.020082] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 9, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[   77.020103] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 8, hung_queue 9
[   77.020108] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery unsuccessful
[   82.908081] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 9, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[   82.908101] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 9, hung_queue 9
[   82.908107] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery unsuccessful
[   92.892084] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 9, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[   92.892105] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 10, hung_queue 9
[   92.892111] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery unsuccessful
[   98.012098] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 8, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[   98.012119] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 11, hung_queue 8
[   98.012125] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery unsuccessful

A quoi corespond ce tx_timeout recovery ?

vivien

  • Administrateur
  • *
  • Messages: 47 075
    • Twitter LaFibre.info
Perte du réseau 10Gb/s (driver i40e) depuis le passage au Kernel 4.15
« Réponse #1 le: 02 juillet 2018 à 20:03:39 »
D'autres personnes qui utilisent le driver i40e ont eu le problème ? (je n'ai rien trouvé sur https://bugs.launchpad.net/ubuntu )

Faites attention au prochain reboot pour ceux qui on une carte qui utilise le driver i40e et qui sont sous Ubuntu LTS Enablement Stacks. La bascule vers le Kernel 4.15 est automatique lors du prochain reboot.

En basculant via Grub sur l'ancien Kernel, le 4.13.0.45, aucun problème.


La carte Intel Ethernet Converged Network Adapter X710-DA2 :


vivien

  • Administrateur
  • *
  • Messages: 47 075
    • Twitter LaFibre.info
Perte du réseau 10Gb/s (driver i40e) depuis le passage au Kernel 4.15
« Réponse #2 le: 02 juillet 2018 à 22:28:22 »
Bug ouvert : https://bugs.launchpad.net/ubuntu/+source/linux-meta-hwe/+bug/1779756

Edit : This bug was fixed in the package linux - 4.15.0-48.51

hwti

  • Abonné Orange Fibre
  • *
  • Messages: 2 237
  • Chambly (60)
Perte du réseau 10Gb/s (driver i40e) depuis le passage au Kernel 4.15
« Réponse #3 le: 03 juillet 2018 à 01:37:47 »
Les commits ultérieurs qui semblent intéressants : https://github.com/torvalds/linux/commit/07d44190a38939adfec6177a6e1b683417da291f, et https://github.com/torvalds/linux/commit/04d4105174349dceccf9545a3e5e421c18f2cc56.

Tu peux éventuellement tester des kernels mainline (https://wiki.ubuntu.com/Kernel/MainlineBuilds) : un 4.16 aura le premier commit, un 4.17 les deux.

zoc

  • Abonné Orange Fibre
  • *
  • Messages: 4 256
  • Antibes (06) / Mercury (73)
Perte du réseau 10Gb/s (driver i40e) depuis le passage au Kernel 4.15
« Réponse #4 le: 10 juillet 2018 à 10:21:09 »
C'est un peu hors sujet, mais depuis que j'ai passé mon serveur mail (16.04 LTS, postfix + dovecot) au kernel 4.15 j'ai plein de problèmes de stabilité avec NFS (client), sachant que mes boites mail sont sur un NAS Synology partagé en NFSv3: Liste de fichiers dans les répertoires/propriétaires/droits totalement fantaisistes au bout de quelques heures...

Le problème disparait en repassant en 4.13...

vivien

  • Administrateur
  • *
  • Messages: 47 075
    • Twitter LaFibre.info
Perte du réseau 10Gb/s (driver i40e) depuis le passage au Kernel 4.15
« Réponse #5 le: 24 juillet 2018 à 13:44:00 »
Nouvelle tentative avec le kernel 4.15.0-29-generic + mise à jour du BIOS du serveur Dell PowerEdge R330 (de la version 2.0.8 à la version 2.5.0) et mise à jour du Firmware de la carte Intel Ethernet Converged Network Adapter X710-DA2 (de la version 17.5.12 à la version 18.5.17)

Cela fonctionne un peu, mais j'ai encore régulièrement des erreurs :
$ dmesg | grep i40e
[    1.754001] i40e: Intel(R) Ethernet Connection XL710 Network Driver - version 2.1.14-k
[    1.773765] i40e: Copyright (c) 2013 - 2014 Intel Corporation.
[    1.813550] i40e 0000:01:00.0: fw 6.80.48812 api 1.7 nvm 6.00 0x80003751 18.5.17
[    2.093649] i40e 0000:01:00.0: MAC address: 3c:fd:fe:1d:76:60
[    2.147837] i40e 0000:01:00.0 eth0: NIC Link is Up, 10 Gbps Full Duplex, Flow Control: None
[    2.159581] i40e 0000:01:00.0: PCI-Express: Speed 8.0GT/s Width x8
[    2.169064] i40e 0000:01:00.0: Features: PF-id[0] VFs: 64 VSIs: 66 QP: 16 RSS FD_ATR FD_SB NTUPLE DCB VxLAN Geneve PTP VEPA
[    2.181300] i40e 0000:01:00.1: fw 6.80.48812 api 1.7 nvm 6.00 0x80003751 18.5.17
[    2.425649] i40e 0000:01:00.1: MAC address: 3c:fd:fe:1d:76:62
[    2.430388] i40e 0000:01:00.1: PCI-Express: Speed 8.0GT/s Width x8
[    2.431153] i40e 0000:01:00.1: Features: PF-id[1] VFs: 64 VSIs: 66 QP: 8 RSS FD_ATR FD_SB NTUPLE DCB VxLAN Geneve PTP VEPA
[    2.432199] i40e 0000:01:00.0 enp1s0f0: renamed from eth0
[    2.472204] i40e 0000:01:00.1 enp1s0f1: renamed from eth1
[    9.948085] NETDEV WATCHDOG: enp1s0f0 (i40e): transmit queue 1 timed out
[    9.948120]  crc32_pclmul ghash_clmulni_intel pcbc mgag200 i2c_algo_bit ttm drm_kms_helper aesni_intel syscopyarea i40e aes_x86_64 sysfillrect crypto_simd sysimgblt tg3 glue_helper fb_sys_fops ahci cryptd drm libahci ptp megaraid_sas pps_core wmi video
[    9.948205] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 1, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[    9.948206] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 1
[    9.948537] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[   15.836086] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 3, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[   15.836092] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 2, hung_queue 3
[   15.886149] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[  155.868081] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 13, NTC: 0x0, HWB: 0x0, NTU: 0x1ec, TAIL: 0x1ec, INT: 0x1
[  155.868104] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 13
[  155.869033] i40e 0000:01:00.0: VSI seid 388 Tx ring 8 disable timeout
[  165.852082] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 7, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[  165.852106] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 2, hung_queue 7
[  165.902223] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[  295.899292] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 15, NTC: 0x0, HWB: 0x0, NTU: 0x1eb, TAIL: 0x1eb, INT: 0x1
[  295.899316] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 15
[  295.900183] i40e 0000:01:00.0: VSI seid 388 Tx ring 8 disable timeout
[  338.907284] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 0, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[  338.907307] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 0
[  338.907729] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[  349.915269] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 7, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[  349.915292] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 2, hung_queue 7
[  349.965382] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[  466.902254] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 8, NTC: 0x0, HWB: 0x0, NTU: 0x1eb, TAIL: 0x1eb, INT: 0x1
[  466.902275] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 8
[  466.903135] i40e 0000:01:00.0: VSI seid 388 Tx ring 8 disable timeout
[  498.901630] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 0, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[  498.901636] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 0
[  498.902016] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[  530.901171] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 0, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[  530.901176] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 0
[  530.901561] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[  594.900266] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 0, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[  594.900289] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 0
[  594.900707] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[  605.908110] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 6, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[  605.908132] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 2, hung_queue 6
[  605.908589] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[  738.002231] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 13, NTC: 0x0, HWB: 0x0, NTU: 0x1eb, TAIL: 0x1eb, INT: 0x1
[  738.002259] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 13
[  738.003122] i40e 0000:01:00.0: VSI seid 388 Tx ring 8 disable timeout
[  770.001773] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 7, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[  770.001797] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 7
[  770.002211] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[  781.009615] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 4, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[  781.009638] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 2, hung_queue 4
[  781.059690] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[  892.882005] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 12, NTC: 0x0, HWB: 0x0, NTU: 0x15d, TAIL: 0x15d, INT: 0x1
[  892.882035] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 12
[  892.882942] i40e 0000:01:00.0: VSI seid 388 Tx ring 8 disable timeout
[ 1308.878559] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 4, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[ 1308.878569] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 4
[ 1308.878987] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[ 1345.998183] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 4, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[ 1345.998189] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 4
[ 1345.998579] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[ 1362.894027] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 4, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[ 1362.894031] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 2, hung_queue 4
[ 1362.944156] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[ 1463.757373] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 13, NTC: 0x0, HWB: 0x0, NTU: 0x1ec, TAIL: 0x1ec, INT: 0x1
[ 1463.757397] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 13
[ 1463.758291] i40e 0000:01:00.0: VSI seid 388 Tx ring 8 disable timeout
[ 1490.893275] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 4, NTC: 0x0, HWB: 0x0, NTU: 0x4, TAIL: 0x4, INT: 0x1
[ 1490.893286] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 4
[ 1490.893642] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[ 1549.004924] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 4, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[ 1549.004947] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 4
[ 1549.005371] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[ 1559.756871] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 4, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[ 1559.756894] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 2, hung_queue 4
[ 1559.807022] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[ 1572.812775] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 9, NTC: 0x0, HWB: 0x0, NTU: 0x16, TAIL: 0x16, INT: 0x1
[ 1572.812798] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 3, hung_queue 9
[ 1572.863340] i40e 0000:01:00.0: VSI seid 388 Tx ring 8 disable timeout
[ 1575.990199] i40e 0000:01:00.0 enp1s0f0: NIC Link is Down
[ 1580.990639] i40e 0000:01:00.0 enp1s0f0: NIC Link is Up, 10 Gbps Full Duplex, Flow Control: None
[ 1582.569704] i40e 0000:01:00.0: VSI seid 388 Tx ring 8 disable timeout
[ 1623.756424] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 2, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[ 1623.756429] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 2
[ 1623.756810] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[ 2529.987804] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 4, NTC: 0x0, HWB: 0x0, NTU: 0x3, TAIL: 0x3, INT: 0x1
[ 2529.987812] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 4
[ 2529.988266] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[ 3602.872796] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 6, NTC: 0x0, HWB: 0x0, NTU: 0x2, TAIL: 0x2, INT: 0x1
[ 3602.872819] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 6
[ 3602.873267] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[ 5724.834824] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 4, NTC: 0x0, HWB: 0x0, NTU: 0x3, TAIL: 0x3, INT: 0x1
[ 5724.834848] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 4
[ 5724.835290] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[ 7212.972148] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 7, NTC: 0x0, HWB: 0x0, NTU: 0x2, TAIL: 0x2, INT: 0x1
[ 7212.972173] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 7
[ 7212.972629] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[ 7233.963960] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 6, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[ 7233.963985] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 6
[ 7233.964418] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[ 7260.843614] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 6, NTC: 0x0, HWB: 0x0, NTU: 0x4, TAIL: 0x4, INT: 0x1
[ 7260.843619] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 6
[ 7260.844002] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[ 7303.851242] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 6, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[ 7303.851265] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 6
[ 7303.851674] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[ 7911.844944] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 3, NTC: 0x0, HWB: 0x0, NTU: 0x4, TAIL: 0x4, INT: 0x1
[ 7911.844967] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 3
[ 7911.845409] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[ 7927.716717] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 3, NTC: 0x0, HWB: 0x0, NTU: 0x3, TAIL: 0x3, INT: 0x1
[ 7927.716724] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 2, hung_queue 3
[ 7927.766860] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[ 8007.843960] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 12, NTC: 0x0, HWB: 0x0, NTU: 0x1eb, TAIL: 0x1eb, INT: 0x1
[ 8007.843984] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 12
[ 8007.844845] i40e 0000:01:00.0: VSI seid 388 Tx ring 8 disable timeout

Sur une machine acheté il y a quelques mois, mais avec une configuration identique au CPU prés, je n'ai pas l'erreur :
$ dmesg | grep i40e
[    1.717393] i40e: Intel(R) Ethernet Connection XL710 Network Driver - version 2.1.14-k
[    1.737179] i40e: Copyright (c) 2013 - 2014 Intel Corporation.
[    1.759035] i40e 0000:01:00.0: fw 6.80.48603 api 1.7 nvm 6.00 0x800034e9 18.3.6
[    2.047101] i40e 0000:01:00.0: MAC address: f8:f2:1e:21:e4:e0
[    2.106832] i40e 0000:01:00.0: PCI-Express: Speed 8.0GT/s Width x8
[    2.107881] i40e 0000:01:00.0: Features: PF-id[0] VFs: 64 VSIs: 66 QP: 8 RSS FD_ATR FD_SB NTUPLE DCB VxLAN Geneve PTP VEPA
[    2.119865] i40e 0000:01:00.1: fw 6.80.48603 api 1.7 nvm 6.00 0x800034e9 18.3.6
[    2.363371] i40e 0000:01:00.1: MAC address: f8:f2:1e:21:e4:e2
[    2.373798] i40e 0000:01:00.1 eth1: NIC Link is Up, 10 Gbps Full Duplex, Flow Control: RX/TX
[    2.391800] i40e 0000:01:00.1: PCI-Express: Speed 8.0GT/s Width x8
[    2.406104] i40e 0000:01:00.1: Features: PF-id[1] VFs: 64 VSIs: 66 QP: 8 RSS FD_ATR FD_SB NTUPLE DCB VxLAN Geneve PTP VEPA
[    2.407094] i40e 0000:01:00.0 enp1s0f0: renamed from eth0
[    2.428159] i40e 0000:01:00.1 enp1s0f1: renamed from eth1

Je suis intrigué par la ligne qui indique que le port est UP: sur la machine qui pose problème, j'ai "Flow Control: None"

Sur celui qui est ok, j'ai "Flow Control: RX/TX"

D'où vient cette différence ?

hwti

  • Abonné Orange Fibre
  • *
  • Messages: 2 237
  • Chambly (60)
Perte du réseau 10Gb/s (driver i40e) depuis le passage au Kernel 4.15
« Réponse #6 le: 24 juillet 2018 à 14:34:52 »
Dans le premier post, il y a un "Flow Control: RX/TX" aussi.
Ca vient directement de la carte qui remonte l'état du lien, probablement en fonction du support ou non des trames PAUSE par le switch en face (ethtool peut donner des informations supplèmentaires).
Mais peut-être que le firmware le désactive quand il détecte des problèmes.

Le kernel 4.15 n'est pas une branch longterm upstream, donc il n'y aura pas de correction si Ubuntu ne travaille pas sur le problème.

vivien

  • Administrateur
  • *
  • Messages: 47 075
    • Twitter LaFibre.info
Perte du réseau 10Gb/s (driver i40e) depuis le passage au Kernel 4.15
« Réponse #7 le: 21 août 2018 à 09:41:25 »
J'ai peut-être trouvé la solution, ce pourrait être le mode x2apic...

Une machine non affecté par le problème, alors qu'elle a la carte même carte réseau Intel et le même kernel 4.15 :

$ dmesg | grep -i -e "x2apic"
[    0.000000] x2apic: enabled by BIOS, switching to x2apic ops
[    0.000000] Setting APIC routing to cluster x2apic.
[    0.004000] DMAR-IR: Queued invalidation will be enabled to support x2apic and Intr-remapping.
[    0.004000] DMAR-IR: Enabled IRQ remapping in x2apic mode

$ dmesg | grep -i -e "IRQ" -e "x2apic"
[    0.000000] x2apic: enabled by BIOS, switching to x2apic ops
[    0.000000] Setting APIC routing to cluster x2apic.
[    0.000000] ACPI: INT_SRC_OVR (bus 0 bus_irq 0 global_irq 2 dfl dfl)
[    0.000000] ACPI: INT_SRC_OVR (bus 0 bus_irq 9 global_irq 9 high level)
[    0.000000] ACPI: IRQ0 used by override.
[    0.000000] ACPI: IRQ9 used by override.
[    0.000000] NR_IRQS: 524544, nr_irqs: 488, preallocated irqs: 16
[    0.004000] DMAR-IR: Queued invalidation will be enabled to support x2apic and Intr-remapping.
[    0.004000] DMAR-IR: Enabled IRQ remapping in x2apic mode
[    0.142271] ACPI: PCI Interrupt Link [LNKA] (IRQs 3 4 5 6 10 *11 12 14 15)
[    0.142324] ACPI: PCI Interrupt Link [LNKB] (IRQs 3 4 5 *6 10 11 12 14 15)
[    0.142374] ACPI: PCI Interrupt Link [LNKC] (IRQs 3 4 *5 6 10 11 12 14 15)
[    0.142425] ACPI: PCI Interrupt Link [LNKD] (IRQs 3 4 5 6 10 *11 12 14 15)
[    0.142475] ACPI: PCI Interrupt Link [LNKE] (IRQs 3 4 5 6 10 *11 12 14 15)
[    0.142524] ACPI: PCI Interrupt Link [LNKF] (IRQs 3 4 5 *6 10 11 12 14 15)
[    0.142573] ACPI: PCI Interrupt Link [LNKG] (IRQs 3 4 *5 6 10 11 12 14 15)
[    0.142622] ACPI: PCI Interrupt Link [LNKH] (IRQs 3 4 5 6 10 *11 12 14 15)
[    0.156019] PCI: Using ACPI for IRQ routing
[    0.188269] hpet0: at MMIO 0xfed00000, IRQs 2, 8, 0, 0, 0, 0, 0, 0
[    0.705010] pcieport 0000:00:01.0: Signaling PME with IRQ 25
[    0.705020] pcieport 0000:00:01.1: Signaling PME with IRQ 26
[    0.705030] pcieport 0000:00:01.2: Signaling PME with IRQ 27
[    0.705040] pcieport 0000:00:1d.0: Signaling PME with IRQ 28
[    0.705050] pcieport 0000:00:1d.2: Signaling PME with IRQ 29
[    0.745109] Serial: 8250/16550 driver, 32 ports, IRQ sharing enabled
[    0.766034] 00:05: ttyS1 at I/O 0x2f8 (irq = 3, base_baud = 115200) is a 16550A
[    0.787090] 00:06: ttyS0 at I/O 0x3f8 (irq = 4, base_baud = 115200) is a 16550A
[    0.982127] rtc_cmos 00:03: alarms up to one month, y3k, 242 bytes nvram, hpet irqs
[    1.998397] ata1: SATA max UDMA/133 abar m2048@0x95d16000 port 0x95d16100 irq 31
[    1.998445] ata2: SATA max UDMA/133 abar m2048@0x95d16000 port 0x95d16180 irq 31
[    1.998510] ata3: SATA max UDMA/133 abar m2048@0x95d16000 port 0x95d16200 irq 31
[    1.998518] ata4: SATA max UDMA/133 abar m2048@0x95d16000 port 0x95d16280 irq 31
[    1.998579] ata5: SATA max UDMA/133 abar m2048@0x95d16000 port 0x95d16300 irq 31
[    1.998652] ata6: SATA max UDMA/133 abar m2048@0x95d16000 port 0x95d16380 irq 31
[    2.135900] tg3 0000:04:00.0 eth0: RXcsums[1] LinkChgREG[0] MIirq[0] ASF[1] TSOcap[1]
[    2.165007] tg3 0000:04:00.1 eth1: RXcsums[1] LinkChgREG[0] MIirq[0] ASF[1] TSOcap[1]
[    4.570361] ipmi_si: SMBIOS: io 0xca8 regsize 1 spacing 4 irq 10
[    4.570400] ipmi_si: Trying SMBIOS-specified kcs state machine at i/o address 0xca8, slave address 0x20, irq 10
[    4.980085] ipmi_si dmi-ipmi-si.0: The BMC does not support setting the recv irq bit, compensating, but the BMC needs to be fixed.
[    5.052227] ipmi_si dmi-ipmi-si.0: Using irq 10


Une machine affété par le problème avec le kernel 4.15 :
$ dmesg | grep -i -e "x2apic"
[    0.004000] DMAR-IR: x2apic is disabled because BIOS sets x2apic opt out bit.
[    0.004000] DMAR-IR: Use 'intremap=no_x2apic_optout' to override the BIOS setting.
[    0.004000] x2apic: IRQ remapping doesn't support X2APIC mode

$ dmesg | grep -i -e "IRQ" -e "x2apic"
[    0.000000] ACPI: INT_SRC_OVR (bus 0 bus_irq 0 global_irq 2 dfl dfl)
[    0.000000] ACPI: INT_SRC_OVR (bus 0 bus_irq 9 global_irq 9 high level)
[    0.000000] ACPI: IRQ0 used by override.
[    0.000000] ACPI: IRQ9 used by override.
[    0.000000] NR_IRQS: 524544, nr_irqs: 488, preallocated irqs: 16
[    0.004000] DMAR-IR: x2apic is disabled because BIOS sets x2apic opt out bit.
[    0.004000] DMAR-IR: Use 'intremap=no_x2apic_optout' to override the BIOS setting.
[    0.004000] DMAR-IR: Enabled IRQ remapping in xapic mode
[    0.004000] x2apic: IRQ remapping doesn't support X2APIC mode
[    0.138307] ACPI: PCI Interrupt Link [LNKA] (IRQs 3 4 5 6 10 *11 12 14 15)
[    0.138362] ACPI: PCI Interrupt Link [LNKB] (IRQs 3 4 5 *6 10 11 12 14 15)
[    0.138415] ACPI: PCI Interrupt Link [LNKC] (IRQs 3 4 *5 6 10 11 12 14 15)
[    0.138469] ACPI: PCI Interrupt Link [LNKD] (IRQs 3 4 5 6 10 *11 12 14 15)
[    0.138522] ACPI: PCI Interrupt Link [LNKE] (IRQs 3 4 5 6 10 *11 12 14 15)
[    0.138574] ACPI: PCI Interrupt Link [LNKF] (IRQs 3 4 5 *6 10 11 12 14 15)
[    0.138626] ACPI: PCI Interrupt Link [LNKG] (IRQs 3 4 *5 6 10 11 12 14 15)
[    0.138678] ACPI: PCI Interrupt Link [LNKH] (IRQs 3 4 5 6 10 *11 12 14 15)
[    0.149875] PCI: Using ACPI for IRQ routing
[    0.179602] hpet0: at MMIO 0xfed00000, IRQs 2, 8, 0, 0, 0, 0, 0, 0
[    0.739186] pcieport 0000:00:01.0: Signaling PME with IRQ 25
[    0.739197] pcieport 0000:00:01.1: Signaling PME with IRQ 26
[    0.739208] pcieport 0000:00:01.2: Signaling PME with IRQ 27
[    0.739220] pcieport 0000:00:1d.0: Signaling PME with IRQ 28
[    0.739230] pcieport 0000:00:1d.2: Signaling PME with IRQ 29
[    0.779471] Serial: 8250/16550 driver, 32 ports, IRQ sharing enabled
[    0.800446] 00:05: ttyS1 at I/O 0x2f8 (irq = 3, base_baud = 115200) is a 16550A
[    0.821498] 00:06: ttyS0 at I/O 0x3f8 (irq = 4, base_baud = 115200) is a 16550A
[    1.017074] rtc_cmos 00:03: alarms up to one month, y3k, 242 bytes nvram, hpet irqs
[    2.151294] tg3 0000:04:00.0 eth0: RXcsums[1] LinkChgREG[0] MIirq[0] ASF[1] TSOcap[1]
[    2.175431] ata1: SATA max UDMA/133 abar m2048@0x95d16000 port 0x95d16100 irq 39
[    2.175436] ata2: SATA max UDMA/133 abar m2048@0x95d16000 port 0x95d16180 irq 39
[    2.175440] ata3: SATA max UDMA/133 abar m2048@0x95d16000 port 0x95d16200 irq 39
[    2.175443] ata4: SATA max UDMA/133 abar m2048@0x95d16000 port 0x95d16280 irq 39
[    2.175446] ata5: SATA max UDMA/133 abar m2048@0x95d16000 port 0x95d16300 irq 39
[    2.175449] ata6: SATA max UDMA/133 abar m2048@0x95d16000 port 0x95d16380 irq 39
[    2.201436] tg3 0000:04:00.1 eth1: RXcsums[1] LinkChgREG[0] MIirq[0] ASF[1] TSOcap[1]
[    4.547787] ipmi_si: SMBIOS: io 0xca8 regsize 1 spacing 4 irq 10
[    4.547831] ipmi_si: Trying SMBIOS-specified kcs state machine at i/o address 0xca8, slave address 0x20, irq 10
[    4.964082] ipmi_si dmi-ipmi-si.0: The BMC does not support setting the recv irq bit, compensating, but the BMC needs to be fixed.
[    5.032159] ipmi_si dmi-ipmi-si.0: Using irq 10
[   10.972124] Modules linked in: ip6table_mangle ip6_tables xt_DSCP xt_tcpudp iptable_mangle ip_tables x_tables ipmi_ssif nls_iso8859_1 intel_rapl x86_pkg_temp_thermal intel_powerclamp kvm_intel kvm irqbypass intel_cstate dcdbas intel_rapl_perf intel_wmi_thunderbolt intel_pch_thermal mei_me mei shpchp ie31200_edac ipmi_si acpi_power_meter mac_hid ib_iser rdma_cm iw_cm ib_cm ib_core iscsi_tcp libiscsi_tcp libiscsi scsi_transport_iscsi ipmi_watchdog ipmi_devintf ipmi_msghandler coretemp autofs4 btrfs zstd_compress raid10 raid456 async_raid6_recov async_memcpy async_pq async_xor async_tx xor raid6_pq libcrc32c raid1 raid0 multipath linear crct10dif_pclmul crc32_pclmul ghash_clmulni_intel mgag200 pcbc i2c_algo_bit ttm drm_kms_helper syscopyarea aesni_intel sysfillrect sysimgblt aes_x86_64 fb_sys_fops crypto_simd
[   10.972184]  <IRQ>
[   10.972190]  run_timer_softirq+0x1ed/0x440
[   10.972195]  __do_softirq+0xf5/0x28f
[   10.972197]  irq_exit+0xb8/0xc0
[   10.972200]  </IRQ>

Je ne sais pas pourquoi, Dell désactive le mode x2apic par défault dans ses bios.

Voici l'option à activer :

Harvester

  • Abonné Free fibre
  • *
  • Messages: 344
  • Freebox Révolution - Limours (91)
    • Site perso
Perte du réseau 10Gb/s (driver i40e) depuis le passage au Kernel 4.15
« Réponse #8 le: 21 août 2018 à 13:05:10 »
Parce qu'ils savent que leur implèmentation est bugguée ?  ;D

vivien

  • Administrateur
  • *
  • Messages: 47 075
    • Twitter LaFibre.info
Perte du réseau 10Gb/s (driver i40e) depuis le passage au Kernel 4.15
« Réponse #9 le: 21 août 2018 à 13:40:27 »
En fait ce n'est pas la cause du problème.

Je continue le jeu des 7 différences.

J'ai 5 serveurs identiques équipés d'une carte Intel X710-DA2 et qui sont passés sur le Kernel 4.15 avec Ubuntu 16.04 LTS.
=> 3 fonctionnent parfaitement
=> 2 ont ces erreurs et refusent certaines connexion TCP

Au niveau soft tout me semble presque identique. Coté hardware, quand j'ai vu x2apic désactivé sur les deux serveurs problématiques et activé sur les deux autres, j'ai pensé avoir trouvé, mais ce n'est pas la cause.
Cela pourrait être l'équipement à l'autre bout sachant que ces 5 serveurs sont situés sur 5 sites différents.

Harvester

  • Abonné Free fibre
  • *
  • Messages: 344
  • Freebox Révolution - Limours (91)
    • Site perso
Perte du réseau 10Gb/s (driver i40e) depuis le passage au Kernel 4.15
« Réponse #10 le: 21 août 2018 à 15:31:09 »
Et avec un kernel 4.16 ou 4.17, comme suggéré par hwti ?

vivien

  • Administrateur
  • *
  • Messages: 47 075
    • Twitter LaFibre.info
Perte du réseau 10Gb/s (driver i40e) depuis le passage au Kernel 4.15
« Réponse #11 le: 21 août 2018 à 19:18:33 »
Là je me suis plus focalisé sur trouver les différences entre les machines impactées et celles non impactées.
Maintenant que x2apic est activé partout, j'ai analysés dmesg ligne par ligne.

J'ai trouvé une différence :

Les machines sans problème ont une ligne :
[    2.522869] i40e 0000:02:00.0: Features: PF-id[0] VFs: 64 VSIs: 66 QP: 8 RSS FD_ATR FD_SB NTUPLE DCB VxLAN Geneve PTP VEPA

Celles qui ont des erreurs ont une ligne :
[    2.932705] i40e 0000:01:00.0: Features: PF-id[0] VFs: 64 VSIs: 66 QP: 16 RSS FD_ATR FD_SB NTUPLE DCB VxLAN Geneve PTP VEPA

Le QP qui passe de 8 à 16 semble être une clef...

Voici en plus les lignes supplèmentaires qui sont présentes dans un dmesg d'une machine affectée par des erreurs et qui sont absente d'une machine sans erreurs :
[   10.976007] ------------[ cut here ]------------
[   10.976009] NETDEV WATCHDOG: enp1s0f0 (i40e): transmit queue 4 timed out
[   10.976022] WARNING: CPU: 7 PID: 0 at /build/linux-hwe-jbofgD/linux-hwe-4.15.0/net/sched/sch_generic.c:323 dev_watchdog+0x222/0x230
[   10.976023] Modules linked in: ip6table_mangle ip6_tables xt_DSCP xt_tcpudp iptable_mangle ip_tables x_tables ipmi_ssif nls_iso8859_1 intel_rapl x86_pkg_temp_thermal intel_powerclamp kvm_intel kvm irqbypass intel_cstate dcdbas intel_rapl_perf input_leds joydev intel_wmi_thunderbolt mei_me mei intel_pch_thermal ipmi_si shpchp ie31200_edac acpi_power_meter mac_hid ib_iser rdma_cm iw_cm ib_cm ib_core iscsi_tcp libiscsi_tcp libiscsi scsi_transport_iscsi ipmi_watchdog ipmi_devintf ipmi_msghandler coretemp autofs4 btrfs zstd_compress raid10 raid456 async_raid6_recov async_memcpy async_pq async_xor async_tx xor raid6_pq libcrc32c raid1 raid0 multipath linear crct10dif_pclmul mgag200 crc32_pclmul ghash_clmulni_intel pcbc i2c_algo_bit ttm drm_kms_helper hid_generic aesni_intel syscopyarea sysfillrect usbhid
[   10.976065]  aes_x86_64 sysimgblt crypto_simd hid glue_helper fb_sys_fops i40e tg3 ahci cryptd drm libahci ptp megaraid_sas pps_core wmi video
[   10.976073] CPU: 7 PID: 0 Comm: swapper/7 Not tainted 4.15.0-32-generic #35~16.04.1-Ubuntu
[   10.976074] Hardware name: Dell Inc. PowerEdge R330/0H5N7P, BIOS 2.5.0 05/03/2018
[   10.976075] RIP: 0010:dev_watchdog+0x222/0x230
[   10.976076] RSP: 0018:ffff9f2e2fdc3e68 EFLAGS: 00010282
[   10.976077] RAX: 0000000000000000 RBX: 0000000000000004 RCX: 0000000000000006
[   10.976078] RDX: 0000000000000007 RSI: 0000000000000082 RDI: ffff9f2e2fdd6490
[   10.976078] RBP: ffff9f2e2fdc3e98 R08: 0000000000000001 R09: 0000000000000385
[   10.976079] R10: 0000000000000000 R11: 0000000000000385 R12: 0000000000000040
[   10.976079] R13: ffff9f2e0b174000 R14: ffff9f2e0b174478 R15: ffff9f2dfe774f40
[   10.976080] FS:  0000000000000000(0000) GS:ffff9f2e2fdc0000(0000) knlGS:0000000000000000
[   10.976081] CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
[   10.976081] CR2: 00007f5912290000 CR3: 00000004a8c0a002 CR4: 00000000003606e0
[   10.976082] DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
[   10.976083] DR3: 0000000000000000 DR6: 00000000fffe0ff0 DR7: 0000000000000400
[   10.976083] Call Trace:
[   10.976084]  <IRQ>
[   10.976086]  ? dev_deactivate_queue.constprop.33+0x60/0x60
[   10.976088]  call_timer_fn+0x32/0x140
[   10.976089]  run_timer_softirq+0x1ed/0x440
[   10.976090]  ? ktime_get+0x3e/0xa0
[   10.976092]  ? lapic_next_deadline+0x26/0x30
[   10.976094]  __do_softirq+0xf5/0x28f
[   10.976096]  irq_exit+0xb8/0xc0
[   10.976097]  smp_apic_timer_interrupt+0x79/0x140
[   10.976098]  apic_timer_interrupt+0x84/0x90
[   10.976099]  </IRQ>
[   10.976101] RIP: 0010:cpuidle_enter_state+0xa7/0x300
[   10.976101] RSP: 0018:ffffb95e031f7e60 EFLAGS: 00000246 ORIG_RAX: ffffffffffffff11
[   10.976102] RAX: ffff9f2e2fde2880 RBX: 0000000000000001 RCX: 000000000000001f
[   10.976103] RDX: 0000000000000000 RSI: 0000000024879922 RDI: 0000000000000000
[   10.976103] RBP: ffffb95e031f7e98 R08: ffff9f2e2fde16a4 R09: 0000000000000008
[   10.976104] R10: ffffb95e031f7e30 R11: 0000000000000050 R12: 0000000000000001
[   10.976104] R13: ffff9f2e2fdecb00 R14: ffffffffbd171cd8 R15: 000000028e384552
[   10.976106]  cpuidle_enter+0x17/0x20
[   10.976108]  call_cpuidle+0x23/0x40
[   10.976109]  do_idle+0x197/0x200
[   10.976111]  cpu_startup_entry+0x73/0x80
[   10.976112]  start_secondary+0x1ab/0x200
[   10.976113]  secondary_startup_64+0xa5/0xb0
[   10.976114] Code: 37 00 49 63 4e e8 eb 92 4c 89 ef c6 05 a6 c3 d8 00 01 e8 42 37 fd ff 89 d9 48 89 c2 4c 89 ee 48 c7 c7 38 a1 d9 bc e8 be 97 80 ff <0f> 0b eb c0 66 2e 0f 1f 84 00 00 00 00 00 0f 1f 44 00 00 55 48
[   10.976133] ---[ end trace 1bc547bc3aba1f6c ]---
[   10.976138] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 4, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[   10.976139] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 4
[   10.976446] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[   16.864012] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 1, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[   16.864034] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 2, hung_queue 1
[   16.918729] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[   26.713172] TCP: request_sock_TCP: Possible SYN flooding on port 80. Sending cookies.  Check SNMP counters.
[   35.808083] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 8, NTC: 0x0, HWB: 0x0, NTU: 0x1eb, TAIL: 0x1eb, INT: 0x1
[   35.808105] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 3, hung_queue 8
[   35.858470] i40e 0000:01:00.0: VSI seid 388 Tx ring 8 disable timeout
[   39.015341] i40e 0000:01:00.0 enp1s0f0: NIC Link is Down
[   44.257220] i40e 0000:01:00.0 enp1s0f0: NIC Link is Up, 10 Gbps Full Duplex, Flow Control: None
[   45.746306] i40e 0000:01:00.0: VSI seid 388 Tx ring 8 disable timeout
[   73.600368] usb 1-3.1: USB disconnect, device number 3
[  114.912060] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 5, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[  114.912065] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 5
[  114.912506] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[  333.024050] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 5, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[  333.024077] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 5
[  333.024503] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[  791.776071] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 5, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[  791.776095] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 5
[  791.776523] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[  802.016059] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 5, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[  802.016074] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 2, hung_queue 5
[  802.066087] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout
[  830.944085] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 9, NTC: 0x0, HWB: 0x0, NTU: 0x1ec, TAIL: 0x1ec, INT: 0x1
[  830.944107] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 9
[  830.945038] i40e 0000:01:00.0: VSI seid 388 Tx ring 8 disable timeout
[ 1954.015182] i40e 0000:01:00.0 enp1s0f0: tx_timeout: VSI_seid: 388, Q 2, NTC: 0x0, HWB: 0x0, NTU: 0x1, TAIL: 0x1, INT: 0x1
[ 1954.015190] i40e 0000:01:00.0 enp1s0f0: tx_timeout recovery level 1, hung_queue 2
[ 1954.015599] i40e 0000:01:00.0: VSI seid 388 Tx ring 0 disable timeout