Широко известна переписка Хвостова с Г. Г. Врангелем, П. П. Гнедичем, И. И. Давыдовым, Ц. А. Кюи, Н. Н. Шульговским и другими деятелями. Коллекционировал автографы стихотворений М. А. Волошина, Н. А. Клюева, В. П. Лебедева, А. Н. Толстого, Н. А. Тэффи, В. В. Уманова-Каплуновского, Д. М. Цензора, Н. Н. Шульговского и др. В 1901 году в типографии А. С. Суворина выходит "Собрание стихотворений" Хвостова в двух книгах. В 1905 году вышел сборник "Под осень: Стихотворения. 1901-1904". Издал циклы стихотворений: "Огни отражения. 1901-1911: Образы и картины", "Фантазии и думы", "Цветы и песни", "Разные стихотворения" и другие, а также переводы "Иностранные поэты" (1912 г.).
