La Châtellenie de Semur, autrefois Semur du Maine, existe depuis le XIe siècle.

Le château de Semur est composé d’un corps central prolongé au nord par un donjon carré, et de deux ailes.
La partie centrale a été bâtie sous Louis XI entre 1460 et 1470, par la famille Le Sirier.
La partie ouest se compose d’une aile terminée par une tour et une chapelle, le tout construit vraisemblablement au XVIIe siècle, de même que les petites tours d’entrée.
L’aile est, copie de l'aile ouest, a été construite au XIXe siècle par le duc d’Aumont. Ce dernier y a placé ses armes, de même que sur la girouette du donjon.
Le château de Semur est entouré de fossés secs dont il ne faut pas oublier la grosse tour, sans doute aussi ancienne que la partie centrale.