Der Hohe Bau ist eines der ältesten Gebäude der Stadt, urkundlich seit 1440 bewohnt und damals im Besitz des Deutschen Ordens. Die genau Geschichte und Bedeutung dieses Bauwerkes lassen sich allerdings nicht zweifelsfrei klären. Derzeit befindet sich das Gebäude in Privatbesitz und kann nicht frei besichtigt werden.

Der turmartige Bau dürfte wohl der Vortyp einer Burg gewesen sein, deren einziger Schutz die Lage auf einer „Insel“ darstellte. Der Keller und die beiden darüber liegenden Geschosse sind aus Bruchsteinen errichtet, das Obergeschoss aus Fachwerk. Im Mauerwerk gehört das Gebäude dem 13. Jahrhundert an. An den Ecken finden sich Buckelquader mit breitem Randschlag. Das hohe Dach bot genügend Stauraum für Vorräte. Das Innere, vielleicht auch der Aufbau, wurde im 15. Jahrhundert verändert. Spuren der Befestigung nach außen, etwa durch Gräben, sind nicht vorhanden. An der Ostseite im Erdgeschoss befindet sich eine spitzbogige Tür, darüber im ersten Obergeschoss ein kleeblattbogig geschlossenes Doppelfenster aus der Spätromanik 13. Jahrhundert.