L'origine du Château de La Verrerie remonte à 1422. Cette année-là, le Roi Charles VII donne le Comté d'Aubigny à Jean Stuart Comte de Darnley, Connétable d'Écosse en reconnaissance de ses bons et loyaux services durant la Guerre de Cent Ans, dans la bataille contre les Anglais. Une petite fabrique de verre, située alors au bord du lac mais démolie en 1815 inspira le nom de « La Verrerie ».
Mais le château ne fut pas construit avant la fin du XVe siècle, période pendant laquelle Béraud Stuart, petit-fils de Jean Stuart, à son retour de la campagne d'Italie, fait ériger le corps de logis principal dans le prolongement de la Chapelle et qui rejoint la Galerie « Renaissance » construite en 1525 par Robert Stuart, gendre de Béraud Stuart et compagnon d'armes de Bayard.