Основной дом усадьбы А.Д. Негуневой, Е.А. Ивановой и П.Н. Иванова был возведен на земельном участке, который занимал огромный сад в 1833 году.
В декабре 1850 года молодой Толстой снял комнату в особняке в центре Москвы. Здесь он загорелся идеей написать «Историю вчерашнего дня». Лев Николаевич активно работал, занимался самообразованием – изучал языки, много читал и развивал литературный слог. Толстой написал «Повесть из цыганского быта», но это произведение было забраковано автором и не дошло до читателей.
Одноэтажный каменный дом на ул. Сивцев Вражек, 34, согласно разным историческим источникам, за все время своего существования особняк неоднократно перестраивался, однако его красота до сих пор чарует взор и несмотря на все нововведения, сумел сохранить очарование XIX века. Доска на фасаде напоминает, что в доме жил великий писатель.