Da der Begriff Lapidarium so gebräuchlich nicht ist, sei als Erklärung vorangestellt, dass es sich dabei um eine Sammlung von Steindenkmälern handelt. (lapidar: lat.: „In Stein gehauen“)
Der Ursprung der Grenzsteine geht bis in die Mitte des 16. Jahrhunderts zurück. Um 1557 erfolgten die erste Beschreibung der kursächsischen Wälder (Georg Oeder) sowie die Vermessung der Hauptwaldungen. Das Aufstellen der kurfürstlichen Grenzsteine ist auch auf einen Befehl des Churfürsten Christian vom 6. Juli 1591 zurückzuführen. Es wurde angeordnet, dass,
weil die Gehölze und Wälder sehr angegriffen, verödet und verwüstet wären, das beste Holz unter fremden Namen verschlagen, zu Brettern verschnitten, zu Wagner- und Böttcherholz verarbeitet, Baumstämme zu Feuerholz verwendet, und das alles durch die zweite und dritte Hand zu Wasser und Lande vertrieben und verhandelt werde; auch die jungen Gehaue nicht gehegt, sondern mit dem Vieh betrieben worden seien, es einer Holzordnung bedürfe.
Es kam somit zu einer umfassenden Inventur und Abgrenzung der kurfürstlichen Wälder, denn der Holzbedarf war durch die Vermeilerung, durch Pechsiederei, den Silberbergbau im Raum Freiberg sowie durch die Eisenhämmer um Pirna stark angestiegen.
Mit Einführung der Landes- Verfassung 1831 wurden die landesherrlichen, also die königlichen Wälder, Eigentum des sächsischen Staates.
In der Exposition sind Vertreter zweier Kategorien von Grenzsteinen vertreten: Landesgrenzsteine zur Kennzeichnung der heutigen Staatsgrenze, früher Landesgrenze zwischen Sachsen und Böhmen, und, im größeren Umfang, Forstgrenzsteine, welche zur Markierung der Grenzen des ehemaligen kürfürstlichen bzw. königlichen Waldes und späteren Staatswaldes gesetzt wurden. Die hier aufgestellten Landesgrenzsteine wurden im Zuge der Neuversteinung der DDR-Grenze von ihrem alten Standort entfernt und u.a. bei Cunnersdorf abgelagert (1979). Vorgesehen war, sie im Fundament für das Staatsjagdgebäude in Cunnersdorf einzubauen. Mit Genehmigung des ehemaligen Rates des Kreises Pirna wurden die wertvollsten Steine geborgen. Sie bildeten den Grundstein des Grenzstein Lapidariums. In den folgenden Jahren, bis gegen 1988, wurden dann Forstgrenzsteine, die teilweise beschädigt oder von ihrem Standort entfernt worden waren, also somit ihrem Verwendungszweck nicht mehr dienten, gesammelt und gemeinsam mit Herrn Torke vom Arbeitskreis Sächsischen Schweiz, am jetzigen Standort aufgestellt (1988). 1991 schließlich wurde das Grenzstein- Lapidarium in die Museumsliste des Landkreises Pirna aufgenommen.