Дубовский педагогический колледж располагается в доме, построенном до революции богатым купцом Грязевым Александром Мироновичем. Здание принадлежало ему до 1918 года.
В 1919 году в здании колледжа размещался штаб Первой конной армии Семёна Михайловича Будённого