Несохранившийся дом московского коменданта князя Матвея Петровича Гагарина был построен, предположительно, итальянским архитектором Франческо Фонтана (в литературе ХХ века его ошибочно называют Джованни Марио Фонтана). В коллекции Музея архитектуры хранится ряд чертежей и изображений дома Гагарина XVIII—XIX веков, позволяющих достоверно реконструировать его облик.
Уличный фасад двухэтажного дома имел три ризалита с каменными балконами, между которыми были устроены небольшие террасы-лоджии. В центре фасада находилась сквозная арка, ведущая в парадный двор. Фасад со стороны двора имел лишь два ризалита по краям, между которыми вдоль всего здания на уровне второго этажа проходила открытая терраса, опиравшаяся на пилоны с массивными волютами. Пониженные арки террасы имели неравный шаг, создавая живописную композицию. Со второго этажа в парадный двор спускались широкие двухмаршевые лестницы с разворотом. Здание венчалось балюстрадой (утрачена в конце XVIII века).
Современники называли дом среди лучших построек Москвы. Особо выделял его архитектор В. И. Баженов: «…а всех домов прекраснее дом князя Гагарина на Тверской». Еще долго дом сохранял роскошную внутреннюю отделку. Автор XIX века писал: «Разного рода дерево, мрамор, хрусталь, бронза, серебро и золото употреблены были на украшение покоев, где зеркальные потолки отражали в себе блеск люстр, канделябр, в висячих стеклянных прудках плавали живые рыбы, разноцветные наборные полы представляли узорчатые ковры».
Дом горел в 1773 году. При восстановлении его интерьеры были частично переделаны. На рубеже XVIII—XIX веков домом владела графиня Е.В. Зубова, откуда происходит его второе название — «дом Зубовой». В середине XIX века дом был в значительной степени перестроен, его внутреннее убранство уничтожено.
Дом Гагарина был снесен в начале ХХ века.