В 1926 году в Азаровском было 10 дворов, проживало 54 человека (20 мужчин, 34 женщины). В то время посёлок входил в состав Волковского сельсовета Волковской волости Дмитровского уезда Орловской губернии. В 1928 году вошёл в состав Михайловского (ныне Железногорского) района. В 1937 году в Азаровском было 13 дворов. Во время Великой Отечественной войны, с октября 1941 года по февраль 1943 года, находился в зоне немецкой оккупации. До 1973 года входил в состав Гремяченского сельсовета, затем передан в состав Волковского сельсовета