Die Burg der Grafen von Montfort (an der Stelle des heutigen Neuen Schlosses), die 1633 durch Brand völlig zerstört worden war, wird zunächst nicht wieder aufgebaut. Erst 1667 beauftragt Graf Johann VIII. den Baumeister Michael Kuen mit dem Bau eines neuen Schlosses (das heutige so genannte Alte Schloss bzw. das derzeitige Rathaus). Der rechteckige, nüchterne Baublock mit Satteldach und beiderseitig achtfachem Staffelgiebel zeigt über seinem Portal die Wappen des Erbauers und seiner beiden Gemahlinnen Anna Eusebia von Königsegg-Aulendorf und Anna Katharina von Sulz.