Murowany, obronny dwór w Łodygowicach wznosić zaczął książę Jerzy Zbaraski w roku 1630. Nowa budowla zastąpić miała stary, drewniany dwór. Po śmierci Zbaraskiego tutejsze dobra stały się własnością Wiśniowieckich, potem zaś - jako wiano - trafiły w ręce Stanisława Warszyckiego. Ten zaś, wojewoda mazowiecki i kasztelan krakowski, był w owych czasach bohaterem licznych awantur, znanym z niezbyt uczciwych interesów i postępków, a przy tym miał też ujawniać sadystyczne skłonności wobec swych bliskich oraz poddanych. Warszycki postanowił kontynuować budowę rezydencji. W 1673 r. dwór otoczony został nowymi fortyfikacjami. Miały one stanowić zabezpieczenie w niespokojnych czasach, gdy okoliczne tereny były łupione nie tylko przez wroga, ale i nieopłacane wojska krajowe. Warszycki sam zresztą też nie gardził najazdami na ziemie sąsiadów. Z początkiem XVIII w. przedstawiciele rodu Warszyckich spierali się o majątek, także przy użyciu przemocy. Jeden z nich, Jerzy, w 1709 r. zajął rezydencję siłą. Po okresie przynależności do Warszyckich, łodygowicka fortalicja w latach 30-tych XVIII w. wraz z tutejszymi dobrami przeszła w ręce Borzęckich, a następnie kolejnych rodów. Budowla przez pewien czas, szczególnie w wieku XIX, dość często zmieniała właścicieli - zarówno arystokratów, jak i kupców. W 1866 r. majątek zakupiła Klementyna Primovesi de Weber, będąca żoną austriackiego majora, Adolfa Klobusa. Oni to dokonali gruntowanej przebudowy, podczas której obiekt utracił dotychczasowe cechy dworu obronnego. Powstały wówczas arkady wejściowe, neogotyckie attyki oraz charakterystyczny, glazurowany dach. Zmienione zostały także wnętrza. Pałac znajdował się w rękach rodziny Klobusów do śmierci ostatniego przedstawiciela rodu, Otto Klobusa, w 1942 r. W 1945 wnętrza obiektu zostały gruntownie okradzione. Później łodygowicki pałac pełnił różne funkcje.