Nachweislich stand ab dem 11. Jahrhundert eine Burg auf dem Sandsteinfelsen über der Stadt. Ihre Blütezeit erlebte sie zur Zeit der Herren von Stein im 13. und 14. Jahrhundert. Letzte Bewohnerin war Dorothea Maria, Witwe des Pfalzgrafen Ottoheinrich ll. von Neuburg-Sulzbach. Sie starb im Jahr 1639 auf der Burg Hilpoltstein.

Die Burgruine wurde in den vergangenen Jahren archäoligisch untersucht und saniert. Im östlichen Teil steht der Bergfried (Turm) mit drei Meter dicken Mauern. Während der Sommermonate bietet an Wochenenden der Besuch auf dem Bergfried einen weiten Ausblick ins Umland. Der Keller am Burganger aus dem 11. und 12. Jahrhundert wurde in aufwändiger ehrenamtlicher Leistung vom Museums- und Heimatverein saniert. Für Kulturveranstaltungen, als Trauzimmer auch für Hochzeiten im historischen Stil bietet er ein wunderbares Ambiente.