Pierwsze informacje źródłowe o Rajczy pochodzą z XVII wieku. Jednak prawdopodobnie już od wieku XVI istniało tutaj osadnictwo pasterskie. Kiedy właścicielami Rajczy byli Wielopolscy, w 1674 roku zbudowano we wsi pierwszy, drewniany kościół. Na początku XIX wieku w jej posiadanie weszli Siemiońscy. To właśnie oni przyczynili się do rozwoju wsi i wznieśli zabudowania dworskie. W latach 40. XIX wieku Anastazy Siemioński uruchomił w Rajczy hutę, zwaną „hamrami”. W tym samym czasie postawił też obok swoją rezydencję – jednokondygnacyjny dwór z alkierzami po bokach. Przy pałacu zaś założył obszerny, 30-hektarowy, park. W 1854 roku Rajczę nabyła włoska rodzina Primavesich, wyjątkowo dobrze ustosunkowana na dworze cesarskim w Wiedniu, posiadająca ponadto bank i wiele zakładów przemysłowych w różnych krajach cesarstwa. Oni również przyłożyli rękę do modernizacji dworu, dodając mu elementy neogotyckie. Po 40 latach Primavesi sprzedali Rajczę Lubomirskim. I właśnie książę Władysław Lubomirski nadał pałacowi - w latach 1895-96 - ostateczny wygląd. Między innymi dobudował drugą kondygnację, a ryzality po bokach wejścia głównego zwieńczył szczytami z charakterystycznymi dla neorenesansu północnego spływami. Pośrodku elewacji południowej znajduje się wieża z bramą wejściową oraz loggią przykrytą trzyspadowym dachem. W latach świetności w pałacu było 26 pokoi mieszkalnych ozdobionych dekoracją stiukową. Bywali w nich znani artyści - goście księcia Lubomirskiego - m.in. Karol Szymanowski, Grzegorz Fitelberg czy Ludomir Różycki. W latach 1914-1916 pałac należał do Habsburgów, którzy podczas wojny przekazali go na cele szpitalne. Funkcje te pełni do dziś - obecnie jako Zakład Opiekńczo-Leczniczy. W parku przypałacowym odnajdziemy piękne, pomnikowe lipy, dęby, sosny wejmutki, wiązy górskie czy jawory.