K výročí stříbrné svatby císaře FJI s císařovnou Alžbětou byl v parku v roce 1879 zřízen památník, vybudovaný tehdy nově vzniklým vlastivědným spolkem Excursions club, jež vznikl 27. února 1879 jako první vlastivědný spolek v mocnářství. Základním kamenem se stal pískovcový kvádr z hostince u rumburské výpadovky, bývalého Berkovského zámečku, zbořeného  15.4. 1879 během příprav ke stavbě Státního gymnasia na dnešním Palackého náměstí. Nejvýraznějším objektem památníku se stal sloup z Panské skály u Kamenického Šenova vysoký 570 cm, který byl zasazený na místo v dopoledních hodinách 28. dubna 1879 a čekal na dovoz dalších kamenů. Tento sloup byl darem ze sbírek českolipské reálky. K instalaci pomníku byl přizván okrasný zahradník pan Franz Bürgemeister ze Skalice, který sestavil pomník podle návrhu profesora Steffena. Slavnostního položení základního kamene památníku se 22. dubna 1879 zúčastnil mimo jiné i okresní hejtman A. G. Müller a slavnostní projev přednesl předseda Excursions clubu, ředitel českolipské reálky, pan profesor Dr. Cajetan Watzel.Z podstatné části byl památník hotov již v roce 1880, kdy 29. dubna byla instalována pamětní deska ze světlé žuly s nápisem v němčině:

„Na památku stříbrné svatby našeho milovaného císařského páru Františka Josefa I. a Alžběty dne 24.dubna 1879. Severočeský exkurzní klub.“

Kameny do skupina docházely i později. Poslední dodal pan Winkler, majitel kamenolomu na Jedlové, ještě v roce 1884. V roce 1898 památník upravil a inventarizoval železniční inženýr Karel Fechtner. Každá položka byla označena číslem a byla zapsána do inventáře a zároveň byl vydán katalog hornin se základními  údaji o kamenech i jejich dárcích. Inventární seznam čítal celkem 52 kamenů, které zastupovaly geologické zvláštnosti zdejšího kraje vymezeného řekou Labe, Ještědským hřebenem, státní hranicí a územím kolem Bezdězu.

Po druhé světové válce zmizela pamětní deska a později i památník začal měnit svůj vzhled k nepoznání. Až v roce 2001 se městský úřad pokusil památník upravit, byla obnovena pamětní deska s doplněným textem, byly odstraněny cizí předměty a upraveno okolí. Bohužel na 124 leté výročí vzniku Císařského sloupu došlo k povalení nejvyššího sloupu a k jeho rozlomení na několik kusů.

Text na současné pamětní desce:

Kamennou skupinu kolem  Císařského sloupu čediče Panské skály postavil v letech 1879 a 1880   Severočeský exkurzní  klub.