Die Schloßburg ist das älteste erhaltene, komplett aus Stein gemauerte Wohngebäude der Stadt.

Sie war ab dem 12. Jahrhundert Sitz der Herren von Salza. Das im romanischem Baustil errichtete Schloß wurde im Laufe der Jahrhunderte verändert. Der Turm, der einst an der Nord-West-Ecke stand, fiel 1899 bei einem Brand den Flammen zum Opfer. Im Jahre 1927 ging das Bauwerk in das Eigentum der Stadt über und wurde nach den Kriegswirren 1949 als Stadtbibliothek eröffnet. Aus bautechnischen Gründen mußte das Gebäude geschlossen werden.

Nach umfangreichen Sanierungsarbeiten wird es heute zu Wohn- und Geschäftszwecken genutzt.