Четырёхэтажное каменное здание, построенное в XVIII веке, успело побывать и мужской гимназией, и мебельным магазином, здесь были и купеческие лавки, булочная, кондитерская, колбасная, и нотариальная контора, и штаб Гренадёрского полка, и публичная библиотека, и радиоузел, и мастерская художников, и даже инспекция по охране рыбы и воспроизводству рыбных запасов. Но владимирцы знают его как Губернаторский дом, в память о первом владельце этого здание и первом губернаторе города Петре Гавриловиче Лазареве (другому известному Лазареву, Михаилу Петровичу – одному из открывателей Антарктиды – он приходился отцом).
Предполагалось, что строящееся здание будет использоваться приказом общественного презрения (этот приказ занимался делами сиротских и работных домов, богаделен). Однако в новое здание был вынужден переехать владимирский губернатор с семьёй: прежний дом в Манежном тупике находился в таком критическом состоянии, что проживать в нём было абсолютно невозможно. Вскоре из своего временного пристанища губернатор переехал в специально построенный для него дом (сегодня в том здании расположена владимирская телекомпания), а это здание пошло по рукам.
В настоящее время с 1992 года здесь существует Владимирский центр изобразительного искусства. Всё это время он приобщает владимирцев к богатому и разнообразному миру русской и мировой художественной культуры.
У Губернаторского дома существует и второе прозвище – «дом с приведениями». Городская легенда утверждает, что в здании, действительно, обосновались духи, и доводы, объясняющие зловещие завывания особенностями системы вентиляции, против неё бессильны. Вторая версия объясняет происхождение названия из заголовка одного фельетона, напечатанного в 1920-х гг., автор которого сравнивал безучастных служащих различных контор с призраками.
Принят на государственную охрану памятников истории и культуры.
Является объектом культурного наследия федерального значения.
Сегодня: Владимирский областной центр пропаганды изобразительного искусства