Le château de Sully date vraisemblablement de l'époque gallo-romaine. Le Château ou "lieu-fort", (Soliacus, Solacum, Sulliacun) donna le nom à la cité ainsi qu'à la contrée du "Sullias" (Pagus Solliacensis) qui l'environne. Ce lieu était destiné à surveiller et défendre le passage de la Loire. La région avait une importance considérable, Fleury, Bonnée sont considérés somme ayant été le "lieu-sacré", le centre de la Gaule où se tenait les assemblée des druides et convergeaient les routes venues de toutes les frontières. La seigneurie de Sully s'étendit dans toute la région et devint le domaine seigneurial le plus important du duché d'Orléans.
Le vaste trapèze irrégulier que forme le château de Sully, ne peut donner qu'une idée incomplète de l'importance qu'il eut jadis. Les bâtiments accusent plusieurs époques distinctes. Au Nord, parallèle à la Loire, le Donjon ou vieux château. Ses assises furent posées par les Romains et sa reconstruction date du XVI° siècle. Au Sud-Est, de la tour carré du portail à la tour ronde exclusivement, le bâtiment qui contient le grand salon et la salle à manger, (ancien cabinet de travail de Sully), porte le nom de "petit château". Il fut construit par Louis de la Trémoille au XVI° siècle. D'après la reconstruction effectuée par Viollet-le-Duc, et une peinture murale du château de Villebon (XVII° siècle, un bâtiment longeant la Sange unissait autrefois, la tour rasée au donjon. Ce bâtiment était pourvu d'une poterne et d'un pont-levis extérieur qui assuraient les communications avec la ville par le prolongement d'un pont à chevalets qui aboutissait aux fortifications.
L'entrée de la cour extérieure était protégée, face à la Loire, par une grosse tour pourvue d'un pont-levis. Une autre tourelle se dressait sur l'emplacement de la tour actuelle du gardien. A l'autre extrémité, le long de la Sange, s'élevait une seconde tourelle et la chapelle du château. Un pont, appelait "pont-aux-prêtres" en raison de ce qu'il était réservé aux chanoines qui allaient célébrer leurs offices en la chapelle collégiale du château. Ce pont a été reconstruit ces dernières années. La charpente de la salle du deuxième étage du vieux château est un véritable chef-d'œuvre, l'un des plus ancien et des plus curieux de l'art du bois au moyen-age. L'ensemble affecte une carène de navire renversée. Il est tout en bois de châtaignier. L'originalité de la charpente réside dans le fait qu'elle n'a pas de ferme-maîtresse, ni poinçons, ni entraits, ni arbalétriers. Le rez-de-chaussée servait de logement à la garnison. Cette garnison était commandée par un capitaine mais devait être assez réduite. Le petit château Cette partie construite par Louis de la Trémoille subit d'importantes transformations au temps de Sully. Il y aménagea ses appartements particuliers, cabinet de travail, le grand salon, la salle à manger et la chambre à coucher.
Les seigneurs de Sully. Le premier seigneur de Sully connu (Herchenault), vivait au IX° siècle. son fils cadet, Archambaud, devint évêque de Tours (986). Gilon de Sully, donna son nom, par son mariage avec Ildeburge de Bourges, aux terres de La Chapelle et des Aix. Guillaume, comte de Chartres, fonda vers 1100, la deuxième maison de Sully. Du mariage baron de Sully Archambault II avec Mahaut de Beaugency naquit Eudes de Sully qui succéda, en 1196, sur le siège épiscopal de Paris, à Maurice de Sully - Fondateur de Notre-Dame. Charles de Sully mourut en 1381 sans descendance mâle, le domaine passa aux évêques d'Orléans, Marie de Sully épouse Guy VI de la Trémoille.
La Maison de la Trémoille Georges de la Trémoille, fils de Guy IV de la Trémoille et de MArie de Sully, hérita de la terre de Sully. C'est lui qui exerça une si funeste influence sur Charles VII. George de la Trémoille mourut le 6 mai 1445. Il fut inhumé dans l'église du château. Son petit-fils, Louis II tint une place des plus brillantes dans l'histoire de la fin du XVI° siècle et du commencement du XVII^éme siècle. Protégé d'Anne de Beaujeu, comtesse de Gien, il commanda les troupes de Charles VIII contre les prince coalisés, il fut tué en 1525 à la bataille de Pavie. Son fils Charles avait été tué à la bataille de Marignan le 15 septembre 1515. Louis III de la Trémoille tomba au siège de Melle (1511).
La Maison de Béthune Le 15 juillet 1602, Claude de la Trémoille, duc de Thouars, vendait Sully à Maximilien de Béthune, "sieur et marquis de Rosny, conseiller du Roi, s on chambellan ordinaire, Grand maître de l'artillerie, Grand Voyer et superintendant de ses finances et des fortifications de France, Capitaine de cent hommes d'armes, Gouverneur de la ville et citadelle de Mantes", pour la somme de 42 000 écus. le 21 juillet suivant, Mathieu Sallé, représentant du nouveau propriétaire, prenait possession du château et du domaine.
Le 12 février 1606, Henry IV érigeait la nouvelle terre de son ministre et ami en duché-pairie. A la mort de son roi, Sully partagea sa vie entre Villebon et Sully-sur-Loire. Les 31 années de sa retraite constituent une des périodes les plus mémorables de l'histoire locale. Sully mourut à Villebon le 22 décembre 1641. Il était âgé de 82 ans. Son corps fut transporté et inhumé dans un oratoire de la chapelle de l'hôpital de Nogent-le-Rotrou. Profané à la révolution, ses restes et ceux de Rachel de Cochefichet, sa seconde épouse, furent retrouvé en 1883, ramenés au château de Sully par le comte Eugène de Béthune.
Les petit-fils de Sully possédèrent successivement la duché-pairie. l'un d'eux Maximilien-Henry, épousa la fille de Mme Guyon et fut un grand ami de Voltaire qu'il reçut, à deux reprises, au château de Sully.