В 1828 году Николай Гоголь и его друг Александр Данилевский переезжают в Северную Пальмиру. Дороговизна столичной жизни немало удивила молодых людей — они смогли позволить себе лишь однокомнатную квартиру в доходном доме купца Галыбина по адресу Гороховая, 46. Петербург с сырой и пасмурной погодой произвел на Гоголя неприятное впечатление, а тесная квартира, бесконечно далекая от берегов Невы, порождала в нем отчаяние. Однако прожил он тут недолго, и вскоре переехал в другое, более просторное жилье.
Сам же дом с тех пор не раз перестраивался, а самой крупной была перепланировка в 1854 году, когда новый владелец достроил четвертый этаж, заметно изменив фасад здания. Следующая перестройка ждала дом менее чем через 20 лет, на этот раз над ней трудились архитекторы И.С. Китнер и В.А. Шретер. Именно их благодаря их проекту дом стал выглядеть так, как выглядит сейчас.