Un VPN va te faire perdre du débit mais pour jouer 100% du temps avec un VPN tu gagnes souvent en ping, pour ce qui est de la stabilité, si tu es seul sur ton serveur VPN tu ne devrais pas avoir ce genre de problème.
Sinon pour mon histoire de "Scaleway", c'est un hébergeur de serveurs dédiés en gros, et il te propose l'offre "C1" pour moins de 5 euros/m et il te propose lors de l'installation du dédié une image "VPN", clé en main, tu n'as rien à configurer si ce n'est d'installer OpenVPN Client sur ton Windows et de télécharger le fichier .opvn depuis le serveur.
Bref, si tu n'es pas fan de VPN, change de FAI.