Под руководством архитектора Андрея Штакеншнайдера, в 1861 году, был построен дворец для князя Николая, сына императора Николая I.
В 1893 году Дворец за долги перешел в ведение Департамента Уделов, а в 1894 году Резиденция князя была продана в казну. Дворец предназначали для женского института имени княгини Ксении Александровны для воспитания и образования девиц.
В 1917 году Ленин подписал декрет о передаче здания Совету Профессиональных союзов, и он стал известен как Дворец Труда.
Во дворце имеется концертный зал и несколько гостиных, в которых любой праздник примет царское обличие.