Eine der drei Stammburgen der Familie Aufseß. Erste urkundliche Erwähnung von Schloß Wüstenstein ist im Jahre 1327.

Wohnsitz des Hans Wilhelm von Aufseß zu Wüstenstein und Freienfels im 17. Jahrhundert. Stammhaus der reichsgräflichen Linie von AufseßReichsgrafendiplom für die Söhne des Hans Wilhelm v. Aufseß, Johann Friedrich und Christoph Wilhelm v. Aufseß vom 24.03.1695.

Wüstenstein befindet sich im Besitz von Mitgliedern der jüngeren Wüstensteiner Linie der Familie Aufseß.