Leider sind uns nur wenige Daten bekannt, die mit der Baugeschichte der Burg Rabenstein in Zusammenhang stehen. Vor 1483, als die Herrschaft Rabenstein noch zum Chemnitzer Benediktinerkloster gehörte, verwüstete ein Brand die Anlage. Das Ausmaß der durch den Abt Caspar von Meckau erfolgten Wiederherstellung ist nicht bekannt. Im Jahre 1624 wird von umfangreichen Bau- und Erneuerungsarbeiten durch Hans Georg von Carlowitz berichtet, die sich keineswegs nur auf die Wirtschaftsgebäude, sondern auch auf die Burg bezogen. Im Rahmen dieser Bautätigkeit wurde auch das obere Stockwerk des sogenannten Palas aufgesetzt und mit Wandmalereien versehen. Johann Georg Siegert ließ ab 1774 neue Wirtschaftsgebäude und Scheunen errichten und gleichzeitig Reparaturen an der Burg einschließlich des Turmes durchführen. Nach 1774 wurde die Unterburg abgerissen, wahrscheinlich in Verbindung mit diesen umfangreichen Bauarbeiten. Georg Ludwig von Welk - 1809 durch Erbfolge in den Besitz von Oberrabenstein gelangt - ließ 1817 die Oberburg im alten Ritterstyl" (gemeint sind wahrscheinlich historisierende Ergänzungen) wieder herrichten und mit einer kleinen Parkanlage in englischem Stil verschönern.

In den Jahre 1955 bis 1959 fanden im Gelände der Burganlage Grabungen statt, die wesentlichen Aufschluß über die Baugeschichte und die Ausdehnung der Burg gaben. Ein wichtiges Ergebnis war die Freilegung der Grundmauern der Unterburg, heute durch Steinplatten im Gelände markiert.

Die unregelmäßige Anlage der Burg Rabenstein bestand ursprünglich aus Unter- und Oberburg; letztere bildete den älteren Kern. Nur der Burgfrit und der zweigeschossige Ostflügel sind erhalten geblieben.
Ober- und Unterburg waren nur im Norden und Süden von einem Wassergraben umgeben, da die topographischen Gegebenheiten keinen ringsumlaufenden Graben zuließen. An den Wassergraben schloß sich nach innen eine 1,50 m starke Ringmauer an, die dem Schutz der gesamten Anlage diente. In südlicher Richtung war eine größere Gebäudegrupppe mit dem sogenannten Torhaus nach der Grabenseite hin vorgelagert. Auf einer Zeichnung von Adrian Zinng aus dem Jahre 1774 ist dieser starke quadratische Torbau mit dem Fachwerkobergeschoß sichtbar. Davor wurde im Schlamm der Grabensohle das Steinfundament der aus zwei Bögen gebildeten Brücke bei den Grabungen entdeckt. Die Bebauung des Mauerrings wurde südlich beginnend, über den Westen bis nach Norden fortgeführt. Nur in östlicher und südöstlicher Richtung blieb die Ummauerung unbebaut. Im östlichen und südöstlichen Teil setzten sich die Gebäudekomplexe innerhalb der Ringmauer fort.

Die Oberburg wurde auf der höchsten Stelle des Geländes erbaut - einem Bergsporn mit anstehendem Felsgestein. Sie bestand neben dem ehemals freistehenden Bergfrit aus zwei Wohnflügeln, die sich in westlicher und östlicher Richtung anschlossen. Der Bergfrit ist der älteste Teil der Burg und dürfte der Erbauungszeit der gesamten Anlage angehören. Sein ehemaliger Zugang lag etwa in halber Höhe. Die anderen beiden Eingänge sind erst in jüngster Zeit angelegt worden. Der Bergfrit diente zur Verteidigung und als letzter Zufluchtsort für die Burgbewohner. Man konnte nur mit einer Leiter hineingelangen. Seit 1624 ist dem Bergfrit in nördlicher Richtung ein kleiner, runder Treppenturm vorgelagert. Während der östliche Wohnflügel zweigeschossig ist, lassen die Grabungsergebnisse den Schluß zu, daß der gegenüberliegende Teil im Westen, von dem nur noch Reste der Umfassungsmauer sichtbar sind, dreigeschossig war. Der andere Flügel ist nach Osten zu abgerundet. Sein unteres Geschoß weist ein flaches Tonnengewölbe auf. Die beiden Schießscharten und die beträchtliche Mauerstärke (ca. 1,70 bis 2,50 Meter) des Raumes verweisen auf einen wehrhaften Charakter (wahrscheinlich ursprünglich als Bastion mit Zinnenkranz angelegt).