Selon les écrits, on trouve trace du château primitif au début du X^e siècle, il dominait la première implantation du bourg castral. Deux fossés successifs, au XII^e et en 1507, puis le passage du chemin de fer en 1857 l'ont isolé complétement de cette colline. La forteresse, qui occupe environ 125 ares, se divisait autrefois en deux parties distinctes, séparées par deux autres fossés creusés dans le roc : le Châtel-devant et le Châtel-Derrière. Aux XIII-XIV^e siècles, le Châtel-Devant est délaissé au profit du Châtel-Derrière. Composé de 3 tours, le château avait un rôle défensif et utilitaire.

Pendant quatre siècles, de 1397 à 1793, le château fut la résidence des comtes de Montbéliard et ducs de Wurtemberg. Au fil des années, l'aspect de bâtiment est modifié au profit d'un apparence plus résidentielle, avec la construction des tours Henriette et Frédéric. La fin du XVI^e siècle est marqué par la présence de l'architecte wurtembergeois Heinrich Schickhardt qui fait construire l'hôtel du Bailli ou Logis des Gentilshommes, l'arsenal, la machine hydraulique. Il faudra attendre 1751 pour voir la reconstruction presque complète de la résidence comtale et le comblement du grand fossé. Seules ont subsistés les deux tours Henriette et Frédéric, et la tour nord en éperon.

À la suite de la Révolution française et du rattachement du Pays de Montbéliard à la France, les bâtiments du château sont cédés à l'autorité militaire qui contribue à la reconstruction de nombreux bâtiments se trouvant sur l'esplanade. En 1880, l'éperon est remplacé par un fronton à velutes.

Cédé par l'armée à la Ville de Montbéliard en 1933, le château est aujourd'hui un musée regroupant d'importantes collections d'histoire naturelle et archéologiques.

Le musée

Il présente des collections d’Histoire naturelle (autour de Georges Cuvier), archéologiques, (galets gravés de Rochedane), témoignages de l’âge du fer et du bronze ainsi que des vestiges de la présence gallo-romaine à Mandeure.
Un circuit historique situé dans les deux tours relate l’histoire du château et présente de belles pièces du mobilier montbéliardais (buffet dressoir Carlin, plat de Briot) ainsi que des portraits des ducs et duchesses de Wurtemberg.
Le musée développe un département d’art contemporain et possède notamment des œuvres du peintre Jean Messagier. Des expositions temporaires sur des thèmes très variés permettent de découvrir ces collections.