C'est assez logique, ce qui l'est moins c'est ton ping à travers le VPN.
Sous nux, un petite traceroute google.fr, puis un traceroute -I google.fr, puis un tcptraceroute google.fr sur le port 443 pour voir ?
Par la même occasion, lance un wireshark ou équivalent, et regarder si tu n'as pas une masse de TCP "out of order" (sans charge et en charge).
Pour avoir des chiffres encore plus parlant, si c'est possible, désactive toute compression sur ton OVPN.