Der Ursprung des Torschlossgebäudes ist auf das Bedürfnis der Grafen von Montfort zurückzuführen, ihre Residenzstadt zu befestigen. Die Funktion eines Schlosses hat das Gebäude nie erfüllt. Die Grundmauern des Torturms und das Gemäuer an der Nordostecke des Torschlosses stammen nachweislich aus der Mitte des 13. Jh. und sind damit die einzigen Zeugnisse romanischer Bautätigkeit in der Stadt. Graf Ulrich VI. baute 1464 den Torturm neu auf. Nach einer Zeichnung von 1580 war es ein einstöckiger Bau mit Staffelgiebel.
Der Tettnanger Priester Marquard lässt sich in der 1291 erstmals genannten Zelle „im Argenhardt“ nieder, errichtet eine Kapelle und weiht sie zu Ehren Aller Heiligen. Graf Heinrich III. von Montfort stattet die Zelle mit verschiedenen Gütern aus. 1359 übergibt er sie dem Kloster Langnau. 1364 wird Argenhardt ein selbständiges Kloster.
Kaiser Ludwig der Bayer gibt Graf Wilhelm II. von Montfort mit Urkunde vom 19. November 1330 das Privileg, „daß er seinen Fleckhen zue Tettnang vesten mach und soll, mit Mauern und Graben, wie er will, als ein Statt“.
Graf Wilhelm II. von Montfort hatte sich im Thronstreit zwischen den Habsburgern und den Bayern zunächst auf die Seite der Habsburger gestellt, lief aber 1319 zu den Bayern über. Um seinen Gegner zu demütigen, belagert Herzog Leopold von Österreich auf seinem Weg vom Elsass nach Osten 1322 die Stadt und zerstört Tettnang völlig.
Erstmals siegelt die Stadt Tettnang im Jahre 1409 mit einem eigenen Siegel. Es misst 31 Millimeter im Durchmesser, zeigt einen Hund als Wappentier und die Umschrift: „S(igillum). CIVITUM DE TETTNAG“ (Siegel der Bürger von Tettnang). Die Bedeutung des Hundes im Stadtwappen ist bis heute nicht geklärt. Historiker und Heraldiker vermuten, der Hund könne von älteren Montforter Siegeln inspiriert worden sein, denn diese so genannten Reitersiegel zeigen mehrfach einen Jagdhund, der neben dem Reiter läuft. Auch kommt der Hund öfters auf den Montforter Grabdenkmälern vor.
