Wo einst ein Kloster stand, wurde 1584 die Münzprägeanstalt Gelderland gegründet, nach der der Wohnkomplex benannt ist. Anschließend diente sie von 1814 bis 1909 als Kolonialwerftdepot. Bis 1992 trug der Gebäudekomplex den Namen Oranje-Nassau-Kaserne.
Die Soldaten des Kolonialen Werftdepots reisten von Harderwijk über Rotterdam oder Den Helder in das damalige Niederländisch-Ostindien, wo sie nach einer langen Seereise zur Aufrechterhaltung von Ordnung und Sicherheit eingesetzt wurden. Es besteht daher eine Verbindung zwischen Harderwijk und dem „Smaragdgürtel“.
Nach Abschluss ihrer Ausbildung marschierten die Soldaten, begleitet von Musik, die Stationslaan entlang zum Zug. Auch im Stadtzentrum von Harderwijk fanden Militärmärsche statt, wiederum begleitet von Blechbläsern und Trommlern.
Der Hintergrund für die Rekrutierung von Menschen aus Ghana liegt darin, dass die niederländische Regierung Mitte des 19. Jahrhunderts annahm, Schwarze könnten den klimatischen Bedingungen in Indien besser standhalten als Weiße. Von Fort Elmina, einer ehemaligen Niederlassung der Niederländischen Westindien-Kompanie an der Goldküste – dem heutigen Ghana –, wurden in Absprache mit lokalen Stammeshäuptlingen „Freiwillige“ für den Militärdienst in Indien rekrutiert; nach ihrem Einsatz kehrten sie nach Harderwijk zurück.
