Bonjour,
Alors oui, c'est du câble téléphonique.
Car l'électricien câble les prises comme du téléphone et installe des prises RJ45 par simplicité et pour le futur.
Une prise RJ11 de tel plus petite tient parfaitement dans une RJ45 à défaut d'adaptateur RJ45 -> RJ11.
Pour ton projet, rien de bien compliqué.
Câblage RJ45 (la couleur importe peu tant que c'est câblé comme précisé) :

RJ11 :

Étape numéro 1 :
Il faut sertir les fils de chaque câble dans une RJ45 mâle côté armoire pour les brancher sur la box.
La box près de l'armoire :
Tu place ta box sur deux équerre ou un support et tu connecte les câbles fraîchement sertis sur les ports de ta box ou routeur.
Pour le Tel, tu peut dédier une prise dans une pièce ou utiliser le DECT si équipé.
Pour finir tu relies le port ADSL par un câble RJ11 au DTI.
Les câbles PTT sont moins blindès que les câbles réseau, il faut bien veiller à ce qu'ils soit le plus éloignés possible de câble électrique.
Bon bricolage
