С XIX века в здании на набережной реки Фонтанки поселилось семейство Нарышкиных. Владельцы любили устраивать в своем особняке пышные балы и концерты, для которых они даже завели собственный оркестр, игравший на старинных рогах. Широко известна была собранная ими коллекция картин и различных редких вещиц, привезенных из Греции и Италии. Несколько раз дом Нарышкиных перестраивался, и узнать, как изначально выглядели внутренние помещения здания, сегодня не представляется возможным.
В середине 19 века дочь владельца дворца С.Л. Нарышкина вышла замуж за П.П. Шувалова. По этому поводу во дворце был организован грандиозный праздник, а затем особняк подвергся еще одной, наиболее масштабной перестройке, длившейся более десяти лет. Обновленный дворец стал называться Шуваловским, однако традиция проводить в нем светские вечера и концерты осталась прежней.