Здание дворца, изначально принадлежавшее русскому дипломату, государственному деятелю и канцлеру Российской империи – графу Михаилу Воронцову, отличается богатой отделкой интерьера и фасадов, красивой лепниной и пышной, золочёной резьбой. От Садовой улицы Воронцовский дворец отделён массивной чугунной оградой.
Интересно, что граф Воронцов хоть и был человеком весьма обеспеченным, всё же вынужден был отказаться от участия в строительстве, так как здание с десятками парадных залов и шикарными интерьерами оказалось слишком уж затратным предприятием. В итоге Воронцовский дворец стал принадлежать российской казне, а спустя некоторое время в нём расположился Мальтийский орден – старейшее религиозное сообщество римско-католической церкви.
Начиная с 1955 года во дворце располагается Суворовское военное училище, в стенах которого грызут гранит военной науки будущие российские офицеры.