По одной из версий, участок под застройку был приобретен владельцем заводов П. Демидовым, который и решил возвести здесь богатый особняк. По другой – один из богатейших уральских купцов Л. И. Расторгуев решил построить лучший в Екатеринбурге дом и для этого приобрел на Вознесенской горке недостроенные каменные палаты, превратившиеся впоследствии в великолепный усадебный комплекс. Имя архитектора осталось неизвестным, но все изменения, внесенные в первоначальный облик усадьбы после 1824 года, связаны с именем архитектора Михаила Малахова.
Во время событий октября 1917 года усадьба была национализирована, в ней разместился отряд Красной Гвардии Екатеринбурга, затем здесь работал Екатеринбургский линейный пункт милиции и Урало-Сибирский коммунистический университет. Сад, носивший название Харитоновского, был переименован с сад «Красноармейской Звезды».
В 1935-1937 годах комплекс был капитально отремонтирован и передан Дворцу пионеров и школьников.