Jusqu’en 1898, le village ancestral de Haarzuilens était situé à peu près à l’endroit où le Jardin romain a été aménagé. On sait peu de choses sur les origines de ce hameau pittoresque. Le village a probablement vu le jour au Moyen Âge, à l’abri des remparts du château de Haar.

Le village n'a pratiquement pas changé au fil des siècles. Une vingtaine de maisons aux toits de chaume et de tuiles étaient regroupées autour d'une place villageoise ombragée par de grands arbres. Le village disposait d'une auberge qui servait également de salle du conseil. À la fin du XIXe siècle, on pouvait y acheter un billet pour visiter les ruines pittoresques.

Vers 1891, lorsque les premiers plans concrets de restauration du château ont été élaborés, il a été question de déplacer l'ancien village de Haarzuilens afin de permettre la création d'un vaste parc et d'un domaine de chasse. C'est pourquoi le nouveau village de Haarzuilens a été créé à 1,5 kilomètre à l'est. En 1898, les habitants ont pu emménager dans leurs nouvelles maisons.

À ce jour, le domaine De Haar, son vaste parc et le village-château de Haarzuilens forment une œuvre d’art totale unique aux Pays-Bas, une oasis de verdure, de paix et de tranquillité dans un pays de plus en plus peuplé et agité.