Am 11. November 1753 entsteht in der Nacht ein Brand in der Räucherkammer unter dem Dach und breitet sich so rasch aus, dass die zu Hilfe eilenden Feuerwehren aus Lindau, Hofen (Friedrichshafen) und Ravensburg noch nicht einmal mehr Möbel retten können. Der im Schloss sich aufhaltende Graf Anton IV. muss sich im Schlafrock ins Alte Schloss retten, nachdem er noch den  hl. St. Florian um Schutz angefleht hatte. Der Brandschaden beträgt um 300.000 Gulden.