Wzgórze Zamkowe porasta las mieszany stanowiący pozostałość zdziczałego parku Paulinum o powierzchni 13,5 ha. Park ten podlega ścisłej ochronie konserwatorskiej. Już w średniowieczu, pod wierzchołkiem Wzgórza Zamkowego istniał folwark miejski, który po wojnie 30-letniej w 1655 roku nabyli Jezuici. Ze starych zapisów wynika, że na szczytowej skałce stał wówczas krzyż, od którego powstała pierwsza nazwa wzniesienia Kreuz Berg. Z czasem, pod krzyżem w dużej grocie skalnej urządzono kapliczkę. Grotę utworzoną pomiędzy dwoma wspartymi o siebie blokami granitowymi adaptowano na pomieszczenie sakralne ograniczając wlot i wylot murem kamiennym, pozostawiając niewielkie zwieńczone ostrołukiem wejście od strony południowej (obecnie zamknięte kutą kratą) oraz okno umieszczone pod stropem północnej ściany i oświetlające wnętrze kaplicy od góry. Niegdyś odprawiano tu nabożeństwa. szczególnie uroczyste w dniu św. Pawła – stąd wywodzi się nazwa Paulinum. W latach 1855 – 1860 na zboczu wzgórza powstał piękny park z pawilonem widokowym na skałce, z grotami wśród innych skałek, gajami rododendronów i stawem. W latach 1870-1872 roku, właściciel tego terenu – kupiec Richard Kramsta wzniósł pod wierzchołkiem góry pałacyk, który stał się atrakcją dla wycieczkowiczów. W latach 1927-1931 powiększono teren parku. Powstało wówczas schronisko Grunbuschbaude. W 1933 roku pałacyk przejęło NSDAP i urządziło tutaj szkołę dla aktywistów Hitlerjugend. W okresie tym, poniżej wzgórza wzniesiono duże koszary. Po wojnie pałacyk był początkowo składnica muzealną, potem domem pracy twórczej, wreszcie stał się kasynem oficerskim dla sąsiedniej jednostki wojskowej. Włączono go w teren jednostki, przez co znacznie utrudniono dostęp na wierzchołek góry, który zresztą zasłonięty przez drzewa utracił swoje walory widokowe. W ostatnich latach pałacyk pełnił funkcje bazy hotelowej i gastronomicznej. W dawnym folwarku ulokowano PGR. Obecnie większość zabudowań folawarku jest w ruinie.