У каменной ограды бывшего Херсонского кладбища стоит старинная Всехсвятская (Екатерининская) церковь (г. Курск, ул. Энгельса, 5-а), освященная в 1816 году. С тех пор кладбище стали называть Всехсвятским, а до этого оно носило название Богословского по имени ближайшей к кладбищу церкви.
      Выстроенное у самого кладбища здание храма вскоре потребовалось отремонтировать в связи с проездом через Курск в 1820 году императора Александра I. В старинном документе об этом факте остался исторический след: «Вновь устроенная кладбищенская, за Херсонскими воротами, церковь по наружности, в обвалившейся штукатурке, поправлена быть имеет...»
      В архиве Курской области имеются вид и планы этой церкви, выполненные архитектором Грозновым в 1858 году. Это небольшая нарядная церковь с высокой колокольней. После реставрации, по словам современника, она стала выглядеть "в порядочном виде и при ней два небольших здания, а за ними кладбище. Церковь эта приведена в возможно лучшее внешнее и внутреннее благоустройство, а в означенных зданиях помещаются два отделения городской общественной богодельни, - мужское и женское". Скупые строки о тихом окраинном уголке старого Курска.
      Закрытая в тридцатых годах, лишившаяся тогда своей колокольни, она в годы Отечественной войны вновь была открыта для богослужения.
      В 1990 году вновь была сооружена колокольня храма. Ныне при храме работает детская Воскресная школа.