Bis 1898 befand sich das uralte Dorf Haarzuilens ungefähr an der Stelle, an der später der Römische Garten angelegt wurde. Über die Ursprünge des malerischen Weilers ist nur wenig bekannt. Das Dorf entstand wahrscheinlich im Mittelalter direkt unter dem Schutz, den die Mauern des Schlosses De Haar bieten konnten.

Das Dorf hat sich im Laufe der Jahrhunderte kaum verändert. Etwa fünfundzwanzig Häuser mit Stroh- und Ziegeldächern gruppierten sich um einen von großen Bäumen bewachsenen Dorfplatz. Im Dorf gab es eine Schenke, die auch als Ratssaal diente. Ende des 19. Jahrhunderts konnte man hier eine Eintrittskarte für die Besichtigung der malerischen Ruinen kaufen.

Um 1891, als die ersten konkreten Pläne für die Restaurierung des Schlosses entstanden, wurde über eine Verlegung des alten Dorfes Haarzuilens diskutiert, um die Schaffung eines weitläufigen Parks und Jagdgebiets zu ermöglichen. Aus diesem Grund entstand das neue Dorf Haarzuilens 1,5 Kilometer weiter östlich. Im Jahr 1898 konnten die Bewohner in ihre neuen Häuser einziehen.

Bis heute bilden das Anwesen De Haar, der weitläufige Park und das Schlossdorf Haarzuilens ein in den Niederlanden einzigartiges Gesamtkunstwerk, eine grüne Oase der Ruhe und Stille in einem zunehmend überfüllten und hektischen Land.