Buenooo..... me parece que esto se va complicando!

A ver si os puedo dar alguna idea para solucionar esto.
Los posibles puntos de fallo que se me ocurren son:
Conflicto de IPs: Por lo que comentais, parece que no, pero no estaría mal comprobarlo. thorn2, estaría bien que pusieras la IP, Mascara y puerta de enlace de cada dispositivo (Aún no he visto la IP del PC) y probar la configuración SOLO con los dos routers y el PC, desconectando el resto de la red. No sea que tengamos algún aparato perdido que nos esté fastidiando (Impresoras.. etc)
Un Bucle: Podría ocurrir si unes entre si los dos routers y el switch. Esto se nota porque las luces del switch empiezan a parpadear como locas en el momento que se cierra el circuito.
Un ejemplo de esquema para lo que pides, debería ser Router1 (LAN1) a SWITCH(LAN1) + Router2 (LAN1) a SWITCH(LAN2) + PC(LAN) a SWITCH(LAN3). Ningun cable mas.
Switch roto: No sería el primero y ni el ultimo. Quita el switch del esquema anterior. Router1(LAN1) a Router2(LAN1) y PC(LAN) a ROUTER2(LAN2). Si con esto no funciona, cambia el PC de ROUTER2(LAN2) a ROUTER1(LAN1) para descartar los switches internos de los routers.
Si aún así sigue fallando, probar con otros routers... para descartar.
Si después sigue fallando........ pues será un verdadero misterio!

Respecto al tema del router neutro, tampoco lo veo claro. Creo que es complicar bastante un esquema que en principio es sencillo.