В 1880 году в центре г. Острогожска по проекту воронежского архитектора Мысловского С.Л. было завершено строительство пожарного депо с каланчой (бульвар Крамского, д. 4). Первоначально одноэтажный корпус пожарного депо, с большими арочными проездами, фланкировали два выступающих ризалитами крыла с двускатными крышами. Над центром здания возвышались восьмигранные ярусы каланчи, основанием которой служил двухэтажный четверик, завершённый на главном фасаде фигурным перспективным щипцом.
Различное назначение объёмов подчёркивалось декором: фланкирующие крылья с помещениями для дежурной команды на главном фасаде напоминали домики в два небольших окошка, с треугольным фронтоном и полукруглым окном в тимпане. Фасад пожарного обоза расчленяли треугольные пилоны, отделяющие арочные проезды друг от друга. Наиболее выразительно было декорировано четырёхгранное основание каланчи, общая композиция которой являет собой перспективную четырёхступенчатую рамку с полуколонками по краям и окном в центре. В 1910 году по проекту петербургского архитектора Крамского Н.И. (сына художника Ивана Николаевича Крамского, уроженца г. Острогожска) северная часть здания была перестроена под Картинную галерею художника Крамского И.Н. Руководил работами по надстройке Картинной галереи архитектор Брюллов В.П., служивший в 1909-1912 г.г. инженером Острогожской дистанции железной дороги.
Главный фасад галереи, обращённый к нынешней ул. Прохоренко, фланкируют широкие глухие участки с щипцами, повторяющими щипец пожарной каланчи, между которыми расположены вертикали окон. Со стороны бульвара второй этаж равномерно членится лопатками на двухосные прясла. Хотя в декоре галереи были повторены фасадные элементы пожарной части (зубчики, кронштейны, надоконные и подоконные накладки), но в общей композиции пристройки присутствует дух модерна.
После Великой Отечественной войны южное крыло пожарной части было достроено вторым этажом, в результате чего всё здание обрело первоначальную симметрию.
