Plusieurs maisons de villégiature datant du 18ème siècle ornent les rives de la Vecht. Elles appartenaient à des familles nobles et à de riches commerçants des grandes villes. C’est dans l’une de ces demeures, le château de Zuylen, que naquit, en 1740, Isabella Agneta Elisabeth van Tuyll van Serooskerken. La famille van Tuyll passait l’été à Zuylen, éloigné d’Utrecht, de deux heures de coche d’eau, à peine.

La maison d’hiver de la famille van Tuyll était située à deux pas de la cathédrale, aux numéros 3/5 du Kromme Nieuwegracht, qui abrite maintenant l’Institut Schoevers.
Adam van Lockhorst, bailli d’Utrecht, acheta l’immeuble du numéro 5 comme résidence d’hiver de sa famille. Sa petite-fille épousa Diederik Jacob van Tuyll van Serooskerken. C’est ainsi que la maison devint la propriété de la famille van Tuyll. Leur petit- fils, Diederik Jacob est le père de Belle. En 1746, il fit rénover la demeure par Daniel Marot. La partie sise au numéro 3 à été acquise en 1753 et fut également rénovée par Marot. On trouve encore, ici et là, des détails ornementaux dont il est l’auteur.

Lorsqu’à l’âge de 30 ans, Belle van Zuylen épousa Charles-Emmanuel de Charrière de Penthaz, elle quitta la maison paternelle. Elle se fixa avec son mari en Suisse, à Colombier, dans la demeure du Pontet. Elle y vécut de 1771 jusqu’à sa mort, en 1805. Elle appelait cette maison sa tanière: ‘Quand on est jeune et un peu romanesque, on veut voir le monde, ensuite on se tient volontiers renfermé dans sa tanière et la plus petite et la plus inaccessible est la meilleure’ (lettre du 30 mars 1789 à Chambrier d’Oleyres).

Elle y accueillit sa famille et ses amis. Benjamin Constant lui écrit, dans une lettre datée du 21 février 1788: ‘Tant que vous vivrez, tant que je vivrai, je me dirai toujours, dans quelque situation que je me trouve: Il y a un Colombier dans le monde. Avant de vous connaître je me disais: Si on me tourmente trop, je me tuerai. A présent je me dis: Si on me rend la vie trop dure, j’ai une retraite à Colombier.’