Der Ursprung des Torschlossgebäudes ist auf das Bedürfnis der Grafen von Montfort zurückzuführen, ihre Residenzstadt zu befestigen. Die Funktion eines Schlosses hat das Gebäude nie erfüllt. Die Grundmauern des Torturms und das Gemäuer an der Nordostecke des Torschlosses stammen nachweislich aus der Mitte des 13. Jh. und sind damit die einzigen Zeugnisse romanischer Bautätigkeit in der Stadt. Graf Ulrich VI. baute 1464 den Torturm neu auf. Nach einer Zeichnung von 1580 war es ein einstöckiger Bau mit Staffelgiebel.
