Koppla ihop två trådlösa routrar, via kabel

Låter kanske som en knasig fråga, men går att koppla ihop två routrar via kabel?

Den uppsättning som jag har idag ser såhär ut:
Modem DM111Pv2, som sitter vid första telejacket inne i mitt arbetsrum på nedre våningen.
Router WNDR3700v3 som sitter i ett förrådsutrymme på övervåningen, dit alla nätverksuttag i huset är dragna (rör i väggar)

Från modemet går en kabel till routern via rör i väggen, och sedan en kabel tillbaka ner till arbetsrummet.

Nu har jag fått ett Zyxel modem med inbyggd router (WiFi och fyra portar) av min bredbandsleverantör, så jag undrar över om jag kan koppla ihop dessa?

Vil gärna kunna använda det nya modemet, så jag slipper ha switch för skrivarna och NAS-enheten.

Är det bara så enkelt att Koppla WAN-ingången på övre routern till LAN-utgång på modemet?
Hur konfigurerar man dom två WiFi delarna så dom inte stör varandra?

Ok, mao. så aka jag inte använda WAN-ingången på den gamla routern? Problemet är att egentligen behöver jag alla fyra portarna på den.