Comme l’attestent des fouilles entreprises en 2007, le site actuel possède un château depuis au plus tard la fin du Xe siècle. Il ne s’agit d’abord que d’un château fortifié appartenant aux Comtes de Blois. Le comte Thibault IV et son épouse y auraient signé leurs documents administratifs jusqu’à la fin du XIIe et au début du XIIIe siècle.
A la disparition de la maison de Blois, ce château revient à celle des ducs d’Orléans en 1397, avant d’être apporté à la couronne de France par Louis d’Orléans lorsqu’il devint Louis XII de France en 1498.