La présence de puissantes familles sur le territoire d'Ivoy explique son essor, et d'abord les Sully qui en sont aux XIe et XIIIe siècles les seigneurs. Simon de Sully, chantre du chapitre Saint-Étienne de Bourges, fait don des redevances d'Ivoy à la puissante Abbaye de Saint Sulpice. En 1217, Le Bourg d'Ivoy rassemble alors un bâti entouré de fortifications et groupé autour d'une église, qui a subi des modifications successives. Puis au XVIIe siècle, la famille Olier de Verneuil qu'illustre un des descendants nommé François. Il organise la métallurgie et installe les premières forges sur la Petite Sauldre, au lieu-dit La Forge et à la Verrerie d'Ivoy.