Je regardais vite fait les options du switch, je pense pas que tu arrives a quoi que ce soit.
Faut forcèment intervenir en amont ou au milieu, cad entre la box et le lan.
N'importe quel routeur linux (openwrt, etc...) pourra blocker manager le multicast.
J'ai pas compris ta 2e phrase, le multicast arrive de la box "modem", sans routage/fw il ira partout sur ton LAN.