En 1049, Adalbert de Grandson, désireux d'augmenter l'emprise de sa famille au Pied du Jura, construit une tour fortifiée au sommet du rocher qui domine le défilé du Mormont, véritable clé de passage qu'empruntaient, au Moyen Âge, les armées, les commerçants et les pèlerins venant de France et se dirigeant vers l'Italie.

Des origines à la mort de la dernière châtelaine, Mme Hélène de Mandrot, en 1948, trois familles seulement, d'ailleurs alliées, les Grandson-La Sarra, les Montferrand-La Sarra, les Gingins-La Sarra vont se succéder au château. Cela représente neuf siècles d'habitation continue et une accumulation de trésors et de témoignages qui rendent ces lieux particulièrement attachants. Des vitraux du 13e siècle, le somptueux Livre d'Heures de Jean de Gingins, qui guerroya en France pendant la Guerre de Cent Ans, 160 portraits de famille, des meubles signés de grands noms, une collection de porcelaines et de cristaux anciens sont là pour rappeler la vie d'autrefois, sans oublier la complète et rarissime édition de l'encyclopédie d'Yverdon (1770 - 1780), composée de  58 volumes illustrés consacrés aux grands évènements de l'époque, qui dort dans les rayons de la vaste bibliothèque de l'édifice.