Sie wurde Mitte des 12. Jahrhunderts als Straßenwarte angelegt. Durch seine Lage und starken Wehrbauten galt der Rabenstein lange Zeit als uneinnehmbar. In seinen Kellern konnten große Mengen an Vorräten gespeichert werden, nur einen Brunnen gab es auf dem Burggelände nicht. Die schwächste, dem Bergrücken zugewandte Seite deckten der wuchtige Bergfried und das Torhaus. Der Turm, aus behauenen Granitquadern erbaut, ist mit seinen ca. 30 m Höhe der älteste Teil der Burg. Eine architektonische Besonderheit ist der sogenannte Rittersaal, der in den letzten Jahren restauriert wurde. Er ist allerdings kein prunkvoller Waffensaal, sondern diente wahrscheinlich eher als Stallung oder Vorratsraum. Ebenfalls sehenswert sind die kleine Burgkapelle im Bergfried und die Folterkammer im Torhaus.
Sie wurde erstmalig im Jahr 1251 urkundlich erwähnt. Sie lag in der ehemaligen Grenzregion zwischen Sachsen und Brandenburg und hatte mehrfach den Besitzer gewechselt. Im Jahre 1272 wurde von sächsischer Seite ein Kastellan „von Oppen” eingesetzt. Sein Grundbesitz lag sowohl in Brandenburg als auch in Sachsen. Erst nach dem Wiener Kongress im Jahr 1815 wechselte die Region um Raben und damit auch die Burganlage endgültig zu Preußen /Brandenburg.
Die mittelalterliche Burganlage ist vollständig erhalten und wurde in den Jahren nach 1990 umfassend restauriert. Eigentümer ist die Gemeinde Rabenstein/Fläming,
Seit 1956 sind in der Burg eine rustikal eingerichtete Jugend-Herberge sowie eine Gaststätte untergebracht. Eine Falknerei ist wieder im Betrieb, und es werden in den Sommermonaten regelmäßige Flugvorführungen durchgeführt. Regelmäßig findet auf der Burg Mittelalterspektakel statt. Auch als Filmkulisse ist die Burg Rabenstein sehr begehrt. Auf der Burg spielt auch die schöne Sage der Rosemarie
Das ritterliche Paar, welches vor langer Zeit auf dem Rabenstein wohnte, hatte eine schöne Tochter Rosemarie. Die saß am Abend des Johannistages an ihrem Fenster und sah nach dem Dorf Raben unten im Tal. Sie konnte sehen, wie sich die Rabener Dorfjugend bei Spiel und Tanz vergnügte. Dabei wurde in ihr der Wunsch immer stärker, an diesem fröhlichen Treiben teilzuhaben. Rosemarie schlich sich in einfachen Kleidern heimlich von der Burg ins Dorf und mischte sich unter das fröhliche Volk. Dabei bemerkte sie gar nicht, wie schnell die Zeit verging. Plötzlich schlug es Mitternacht und vom Turm der Burg erschallten die Hörner. Das war das Zeichen, dass auf Rabenstein die Tore zur Nacht verschlossen wurden. Das Burgfräulein erschrak fürchterlich und lief zur Burg hinauf. Aber sie kam zu spät. Erst nach langem, heftigem Klopfen wurde sie eingelassen. Der Turmwächter, der ihr schließlich öffnete, meldete die Sache seinem Herrn, dem Ritter. Rosemarie wurde vor ihren zürnenden Vater gebracht und ihre Eltern verlangten von ihr, sie solle in der Burgkapelle vor ihnen und allen Ahnen erscheinen. Nun wurde ihr die schwere Sünde vorgehalten und die Strafe dafür verkündet: Rosemarie werde, für jedermann unsichtbar, auf ewig in den Turm verbannt. Ihr werde Leinen gegeben, aus dem sie solle zwölf Hemden nähen. Jedoch darf sie nur alle fünfzig Jahre einen einzigen Nadelstich machen. Wenn es ihr gelingt, die Hemden fertig zu nähen, ist ihre Strafe erlassen und sie kommt wieder frei. Erlöst werden kann das arme Mädchen nur von einem kühnen Burschen, dem es gelingt, an der Außenmauer des dreißig Meter hohen Turmes ohne jegliche Hilfsmittel hinaufzuklettern und dadurch Rosemarie zu befreien.
Viele sollen es schon versucht haben, aber noch keinem ist es gelungen, so dass Rosemarie jung und schön wie einst, unsichtbar in ihrem einsamen Turmgefängnis sitzt. Täglich um Mitternacht geht sie traurig durch die Burg. Einmal im Jahr, in der Johannisnacht, steigen ihre Ahnen auf, versammeln sich mit Rosemarie in der Burgkapelle und halten ihr immer aufs Neue ihre Sünden vor.
