Спадкаемнік Косава граф Вандалін Пуслоўскі пачаў будаўніцтва рэзідэнцыі ў 1838 годзе. Кіраваў праектам аўтар – архітэктар з Варшавы Францішак Яшчалд. Над афармленнем раскошных інтэр’ераў працавалі архітэктар Уладзіслаў Марконі і мастак Францішак Жмурко. Пасля дзесяцігоддзяў росквіту палац напаткаў нялёгкі лёс.
У канцы XIX стагоддзя сын Вандаліна Пуслоўскага Лявон прадаў маёнтак, прайграўшыся ў карты, і з той пары пастаяннага гаспадара ў палаца не было. У гады Першай сусветнай вайны каштоўныя рэчы, калекцыі рэдкіх рукапісаў і карцін зніклі, былі знішчаны сад і аранжарэя.
У час Вялікай Айчыннай у палацы знаходзілася нямецкая камендатура, а недалёка размяшчалася гета. У 1944-м пры адступленні немцаў палац быў спалены знутры...