Дом сменил несколько владельцев, прежде чем его купила Варвара Петровна Кельх.Получив в наследство золотые рудники в Сибири, она не скупилась на перестройку особняка. Чрезвычайно богато был оформлен не только фасад дома, но и его интерьеры. Семья Кельх была клиентом фирмы Фаберже, заказывала пасхальные яйца, столовые приборы, драгоценные украшения. Именно в их Жёлтой гостиной выставлялись знаменитые пасхальные яйца, изготовленные фирмой Фаберже.
После того как Варвара развелась с мужем и уехала в Париж особняк был заложен и в нём открылась Школа экранного искусства – первое в мире кинематографическое учебное заведение. Здесь обучали актёрскому мастерству, режиссуре.
В 2010 году дом Кельха был закрыт на реставрацию. В 2011 году было принято решение о его передаче Министерству Юстиции.