Наследник Коссово граф Вандалин Пусловский начал строительство резиденции в 1838 году. Руководил проектом автор – архитектор из Варшавы Франтишек Ящолд. Над оформлением роскошных интерьеров работали архитектор Владислав Маркони и художник Франтишек Жмурко.
После десятилетий расцвета дворец постигла нелёгкая судьба. В конце XIX века сын Вандалина Пусловского Леон продал имение, проигравшись в карты, и с тех пор постоянного хозяина у дворца не было. В годы Первой мировой войны ценные вещи, коллекции редких рукописей и картин пропали, были уничтожены сад и оранжерея.
Во время Великой Отечественной во дворце находилась немецкая комендатура, а недалеко располагалось гетто. В 1944-м при отступлении немцев дворец был выжжен изнутри…