Ursprünglich - bereits ab dem 10. Jh. - war der Schloßberg ein wehrhafter Burgberg. Die Burg wurde nie erobert, jedoch 1809 aufgrund der Bestimmungen des Friedens von Schönbrunn von den Franzosen zerstört.
Der Glockenturm samt der „Liesl“ (-Glocke) und der Uhrturm wurden von den Grazer Bürgern durch Zahlung einer Ablöse vor dem Abbruch gerettet. Von der Burg selbst blieben nur einige Basteimauern erhalten. Ein Modell des Berges mit der Burganlage kann im Garnisonsmuseum besichtigt werden.
Anstelle der Burg wurde ab 1839 vom Freiherrn von Welden eine Parkanlage angelegt. Das Innere des Schloßberges ist von einem weitverzweigten Stollensystem durchzogen. Diese Stollen wurden in den Kriegsjahren 1943 bis 1945 in erster Linie zum Schutz der Zivilbevölkerung angelegt, aber nicht fertig gestellt. Sie boten in den letzten Kriegsjahren tausenden Grazern Schutz vor Bombenangriffen. Heute besteht ein Stollen-Durchgang vom Schloßbergplatz zum Karmeliterplatz. Einige Stollen wurden im Jahr 2000 zum „Dom im Berg“ erweitert, der als Veranstaltungsort bis zu 600 Personen Platz bietet.
 
Übrigens: Die einstige Burg auf dem Grazer Schloßberg ist im "Guinness Buch der Rekorde" als die stärkste Festung aller Zeiten verzeichnet.