Le début de l'histoire d'Ussé remonte à 1004, après les grandes invasions des Vikings. Le domaine appartient alors à l'un de ceux-ci, Gueldin I er. Il avait acheté cette terre au X ème siécle. Il y fit batir sa demeure et pris le titre de de Seigneur d'Ussé. Ussé se trouvait au contact de l'Anjou et lors de guerres il fut vainqueur à plusieurs reprise de Foulque-Nera. Il devint également Seigneur de Saumur, Maillé et Pont Levoy. Il avait un surnom: "Le Dsiable de Saumur"

En 1462, le domaine appartenait à la famille de Bueil, et Jean V de Bueil rendi homage pour cette terre. C'est à cette époque que commença la construction de château qui existe aujoud-hui.Il devait s'agir d'un château fort avec tours et donjon.

En 1480 le donjon était terminé. Mais en 1485Antoine de Bueil vendit le domaine à un Seigneur breton Jacques d'Espinay qui etait le fils du chambellant de françois II. Il fut lui même chambellan de louis XI et de Charles VIII.