Das Vischpoort ist das einzige erhaltene Stadttor. Harderwijk besaß einst fünf: zwei seewärts (das Hoge Bruggepoort und das Vischpoort) und drei landwärts (Grote Poort, Lutteke Poort und Smeepoort). 1851 wurde das Küstenleuchtfeuer auf dem Tor installiert. Das Torhaus diente fortan als Wohnung des Leuchtturmwärters. Heute ist die Herderewich Historical Society im Vischpoort untergebracht.