In den Schriften finden sich erste Spuren des Schlosses im frühen 10. Jahrhundert, wo es zentral im entstehenden Burgstädtchen lag. Nach und nach wurde es im 12. Jahrhundert und 1507 durch zwei Gräben, dann 1857 durch die Eisenbahntrasse komplett auf diesem Hügel isoliert. Die Festung, die sich über 125 Ar erstreckt, bestand früher aus zwei Teilen, die von zwei weiteren, in den Fels gehauenen Gräben voneinander getrennt waren: das vordere Schloss und das hintere Schloss. Im 13.-14. Jahrhundert wurde das vordere Schloss zugunsten des hinteren Schlosses aufgegeben. Ausgestattet mit 3 Türmen hatte es eine wehrhafte und eine praktische Funktion.

Vier Jahrhunderte lang, von 1397 bis 1793, war das Schloss die Residenz der Grafen von Montbéliard (Mömpelgard) und Herzöge von Württemberg. Im Laufe der Jahre veränderte sich das Erscheinungsbild des Gebäudes, mit dem Bau der Türme Henriette und Frédéric wirkte es wohnlicher. Das Ende des 16. Jahrhunderts war vom württembergischen Architekten Heinrich Schickhardt geprägt, der das Wohngebäude Hôtel du Bailli, oder Logis des Gentilhommes, das Arsenal und die hydraulische Maschine bauen ließ. Es dauerte noch bis 1751, bis die gräfliche Residenz fast komplett wieder aufgebaut und der große Graben zugeschüttet waren. Nur die zwei Türme Henriette und Frédéric sowie der spitzförmige Nordturm blieben übrig.

Nach der französischen Revolution und der Wiedervereinigung der Region mit Frankreich fielen die Schlossgebäude an die Militärbehörde, was dazu beitrug, dass zahlreiche Gebäude auf der Esplanade wieder hergerichtet wurden. 1880 ersetzte man den spitzen Turm durch einen Volutengiebel.

1933 überließ die Armee das Schloss der Stadt Montbéliard, heute ist es ein Museum mit bedeutenden Naturkunde- und Archäologiesammlungen.

Das museum

Die Sammlungen umfassen die Bereiche Naturkunde (um Georges Cuvier), Archäologie (gravierte Steine von Rochedane), Zeugnisse der Eisen- und Bronzezeit sowie Relikte aus gallorömischen Funden in Mandeure.
Durch die zwei Türme führt ein historischer Rundgang, der die Geschichte des Schlosses erzählt und schöne Möbelstücke aus Montbéliard (Buffet von Carlin, Schale von Briot) sowie Portraits der Grafen und Gräfinnen von Württemberg zeigt.
Das Museum besitzt auch eine Abteilung für zeitgenössische Kunst, darunter Werke des Malers Jean Messagier. In sehr abwechslungsreichen Sonderausstellungen kann man diese Sammlungen entdecken.