Zámek pozdější klášter, stojí na místě původní tvrze. Nejstarší zmínka o ní pochází z r.1371. Bývala sídlem pánů z Nezamyslic. O jejím zániku ani o vzniku zámku se zprávy nedochovaly. Nynější budova pochází z r. 1764. Je to dvoutraktová budova kolem obdélníkového dvora. Asymetricky umístěný portál půlkruhovitě zaklenutý s patníky, nahoře s římsou a po stranách s dekorativními vázami.
Pod římsou dva erby nad nimi nápis: DOMINICI PRAES ULISCURA (s péčí vrchnostenského představeného) Místnosti v přízemí jsou zaklenuty pruskými klenbami se zrcadly a valenými klenbami mezi pásy. Kaple je zaklenutá valenou klenbou a má nástěnné malby. Jak byl zámek osídlen za řadové vrchnosti se neví. Od r. 1876 zde žily sestry řádu sv. Hedviky, Němky a německé šlechtičny z Polska, většinou tělesně postižené. Měly obecnou a měšťanskou utrakvistickou školu, která byla skoro výhradně německá. Až do první světové války měly dívčí penzionát a sirotčinec.
V současné době zde sídlí ústav mentálně postižené mládeže. Budova je z části pokrytá novou taškou. Střecha ve dvorním křídle má vybudované nové podkrovní prostory s okny ve střešních vikýřích.