El balanceo de carga lo hace el PC que hace de router/firewall ya sea por VLAN o por la IP de la wan de cada router.
Cada router se conecta al switch a traves del puerto wan utilizando direcciones 192.168.0.x (por ejemplo) y la IP del equipo linux como puerta de enlace de la wan. Luego dentro de cada cada cada uno puede poner las IPs que quieran, pues no ven las redes de los otros vecinos (lo he comprobado esta mañana haciendo unas pruebas). He cambiado configuraciones todas y mas y no habia forma de ver a las otras redes, eso si, cada router tiene activado el firewall.
Total, que como no he conseguido ver a los otros equipos-routers-redes, me entra la duda de si hace falta o no VLANs, pues para hacer port forwarding me parece mas facil utilizando routers que a cada equipo final al usar VLANs y switches.