Das Palais war 1869 fertig und damit das erste Gebäude des einheitlich angelegten Schwarzenbergplatzes. Erzherzog Ludwig Viktor gab in den folgenden Jahren hier zahlreiche Feste. Da er sich aber, wegen einiger Skandale, nach und nach mehr nach Schloß Kleßheim in Salzburg zurückzog, wurde das Palais von ihm bald nicht mehr sehr benützt.
1900 fand eine größere Renovierung statt und 1910 stellte Ludwig Viktor das Gebäude dem „Militärwissenschaftlichen und Casinoverein“ zur Verfügung. Noch heute hat der „Neustädter Offiziersverein“ hier seinen Sitz.
Außerdem dient es dem Burgtheater als Probebühne und Aufführungsort.

Das Palais ist dem Stil der italienischen Renaissance nachempfunden. Das Erdgeschoß beherbergte Vestibül, Treppenhaus, Portierwohnung und Remise. Die neun Kuppeln des monumentalen Vestibüls werden von großen gelben Kalksteinsäulen gestützt. Die Haupttreppe führt nur zum Mezzanin, wo die Wohnräume lagen und zu den Repräsentationsräumen im ersten Stock. Das durchbrochene Stiegengeländer ist aus Untersberger Marmor. Eine Nebentreppe verbindet alle Stockwerke. Im Hauptstockwerk schließt sich an das Treppenhaus, gegen den Schwarzenbergplatz zu, eine Galerie als Vorsaal für den großen Ballsaal, den Speisesaal und den Wintergarten, die zusammen eine Gruppe von Festräumen bilden.
Die Ringstraßenfront der Beletage beherbergte ebenfalls Wohnräume des Erzherzogs. Im zweiten Obergeschoß lagen Kanzleien sowie Räume für den Hofstaat.

Anreise mit öffentlichen Verkehrsmitteln:
Straßenbahn Linien 2, ,71, D bis zur Haltestelle "Schwarzenbergplatz"
U-Bahn Linie U4 bis zur Station "Stadtpark"

Ihr oeticket gilt als Fahrschein in Wien!