Открыт в 1939 году и, начиная с этой даты, активно наполняется отдельными экспонатами и объектами культурного наследия.В 1930-е годы в музей была перенесена часть надгробий Смоленского армянского кладбища. Начиная с 30-х годов в ведение музея передаётся ряд исторических памятников, включая объекты на территории Александро-Невской лавры. С начала 1970-х гг. в рамках музея существует реставрационная мастерская по камню.
Согласно распоряжению мэра Санкт-Петербурга от 28 июля 1992 года «О порядке демонтажа памятников историко-революционной тематики на ведомственных территориях», предполагалось, что все демонтированные произведения, имеющие историческую и художественную ценность, будут поступать на хранение в Государственный музей городской скульптуры, что должно закрепляться специальным актом.
В 2002 году в рамках музея открылся новый выставочный зал в Чернорецком переулке, в котором регулярно проводятся выставки петербургских художников и скульпторов и организуются тематические экспозиции на основе музейных фондов.