Tal como te ha dicho waxx un switch es suficiente.
Con uno de 5 puertos como éste o similar puedes conectar cuatro ordenadores. Lleva un alimentador, conectas la salida del router a uno de los puertos y en los cuatro libres puedes conectar equipos.
http://www.appinformatica.com/hubs-swit ... smcfs5.php
Si tuvieses un router adsl arrumbado por ahí podrías usarlo como switch y usar también su wifi por si te va mejor.