Впервые здание (г. Курск, ул. Семеновская, 65-а) на углу улиц Садовой и Лазаретной (ныне улица Семеновская) было построено в 1799 году для больницы Приказа общественного призрения. Со времени открытия в Курске земских учреждений больница перешла в ведение губернаторского земства. В центре главного здания возвышался массивный барабан с куполом, увенчанным золотым крестом домовой церкви во имя иконы Божией Матери Всех Скорбящих Радости. В 1936 году церковную башню сломали, и с тех пор здание стоит усеченное.
      В 1842 году церковь была удостоена посещения Государя Императора Николая I. Он присутствовал здесь на церковной службе и пожаловал протоиерею Роману Гладкому дорогой перстень.
      В 1838 году в лазаретном дворе была выстроена часовенка с главкой и крестом. В 1867 году при часовне устроена комната для вскрытий. Содержание часовни возлагалось на настоятеля Скорбящей церкви и смотрителя.
      После революции церковь в числе прочих курских храмов была закрыта. В 1936 году большевики сломали бельведер и купол церкви.
      В настоящее время после реставрации в здании бывшей усыпальницы храма во имя иконы Всех Скорбящих Радости возобновлены службы.