J'ai la même impression.
J'ai ouvert Firebug et certains get mettent plusieurs secondes.
Je ne vois pas de perte de paquet au niveau réseau.
Le serveur est peu chargé : load average de 0,14
173 Invités et 18 Membres qui visitent actuellement le site, ce n'est pas exceptionnel.
J'ai fait une capture wireshark, mais le fait d’avoir tout mis en https ne facilite pas l'analyse.