Je connais pas le modèle de ta box, mais tu dois avoir dessus un ou plusieurs port RJ45 qui servent pour ton LAN interne en plus du WIFI, donc en résumé, tu branche ce port sur ta prise murale, l'autre bout doit arriver dans ton placard, et la tu mets un simple switch 8 ports qui te permettra de de brancher dessus tous tes départ LAN vers les différentes prises de la maison.
Si tu as besoin d'infos pour acheter un switch, on pourras te conseiller, as tu une photo de ta box avec les ports dispo dessus , en plus de la connection coaxiale ?