Budowę pałacu w Ołdrzychowicach Kłodzkich rozpoczęto w 1572 roku. Do istniejącej już ponad 200 lat wieży mieszkalnej, dobudowano kolejne skrzydła w stylu renesansowym. W XVIII wieku przebudowano dwór na styl barokowy, a także dobudowano dodatkowe oficyny dworskie i zabudowania gospodarcze.

W XIX wieku rób Magnisów podjął się odbudowy obiektu. Arystokraci włoskiego pochodzenia, podczas prac remontowych nadali pałacowi elementy klasycystyczne. Nieopodal posiadłości założono ogromny park, w którym gościła księżniczka Meklemburgii-Strelitz oraz królowa pruska, jako żona króla Fryderyka Wilhelma III – Luiza Pruska.

Posiadłość w Ołdrzychowicach Kłodzkich była jedną z najchętniej odwiedzanych miejsc na ziemi kłodzkiej. Głównym powodem było to, że leży na drodze w kierunku Lądka-Zdrój. Miejsce to było odwiedzane także przez pisarzy, poetów czy kaznodziejów.

Zobacz też: Atrakcje w powiecie kłodzkim. Ruiny Zamku Szczerba w Gniewoszowie

Pałac po II wojnie światowej

Gdy II wojna światowa się zakończyła, pałac stał się obiektem zainteresowania Rosjan. Po 1945 roku splądrowali posiadłość i wywieźli z niej wszystkie zgromadzone podczas wojny cenne dzieła sztuki. W latach 1984-1990 pałac przeszedł remont, lecz nie zabezpieczono dachu, a to spowodowało, że szybko zaczął popadać w ruinę.

Obecnie budynek stoi pusty, a jego właścicielem jest Agencja Własności Rolnej Skarbu Państwa.