Следующим местом жительства предков писателя стало с. Семеновское на Воробьевых горах. Сегодня здесь ничто не напоминает об этом населенном пункте, между тем, поселения на крутом берегу Москвы-реки известны издревле. В ХV в. с. Воробьево принадлежало великой княгине Софье Витовтовне (1371-1453). От более поздних времен сохранилась только церковь Троицы, которая сегодня является одной из немногих московских построек, помнящих Шмелевых.
     Шмелевы появились на Воробьевых горах около 1814 г. Связано это было с предпринимательской деятельностью главы семейства – постройкой кирпичного завода. Москва отстраивалась после пожара 1812 г., и производство кирпича, несомненно, было делом прибыльным, а Воробьево являлось чрезвычайно удобным местом для строительства кирпичного заводика.
     Московские власти кирпичное дело контролировали довольно строго. Заводовладельцам раздавались специальные формы для изготовления кирпичей «без малейшей прибавки или убавки». Заводчик был обязан клеймить свои кирпичи. Каждый год специальная комиссия должна была «делать кирпичу пробы и наблюдать», чтобы тот был строго установленного размера. Эти строгие нормы (вернее, их несоблюдение) сыграли важную роль в судьбе Шмелевых, а нам позволили проследить этапы семейной истории.
     Итак, в 1814 г. Шмелевы уже обретаются на Воробьевых горах, в с. Семеновском. Центром села был храм Троицы, имевший долгую историю. Существует предание, что именно здесь, в Троицкой церкви на Воробьевых горах, перед знаменитым советом в Филях молился фельдмаршал М. И. Кутузов.
     Благодаря метрическим книгам Троицкой церкви стало возможным частично восстановить повседневную жизнь села и семейства Шмелевых.
     В июле 1814 г. уже немолодым женился вторым браком дьячок Троицкой церкви Иван Семенов. Его супругой стала «мещанская дочь»Ольга Васильева. В июле следующего года у молодоженов родился сын Павел. В метрической книге имеется запись, сообщающая, что «восприемницей (то есть крестной новорожденного) была московского купца Ивана Иванова жена ево Устинья Васильева» (ф. 2121, оп. 1, д. 1455, л. 2). Это свидетельство говорит о том, что Шмелевы на Воробьевых горах обжились, имели довольно короткие знакомства. Кстати, упомянутый отец новорожденного Павла дьячок Иван Семенов впоследствии имел некоторое влияние на судьбу Ивана Ивановича Шмелева.
     У самих Шмелевых на Воробьеве появилось на свет двое детей. 1 мая 1814 г. родилась дочь Пелагея (ф. 2121, оп. 1, д. 1455, л. 12 об.). С большой долей вероятности можно утверждать, что это та самая тетушка Пелагея из «Лета Господня», что насказала и собственную кончину, и смерть отца писателя. В марте 1816 г. на свет появился сын Гаврила, умерший в возрасте девяти месяцев и похороненный у Троицкой церкви (ф. 2121, оп. 1, д. 1455, л. 39).
     Крестными этих детей стали «девица Ирина Васильева» и крепостной графа Владимира Григорьевича Орлова Василий Зиновьев, уже знакомые нам по Арбату. Сам Зиновьев в Москве проживал у «Колутцских (т. е. Калужских) ворот», в приходе церкви Казанской Божьей Матери, что явствует из записи в метрической книге (ф. 2121, оп. 1, д. 1455, л. 12 об.). Вполне возможно, что переселение Шмелевых на Калужскую улицу связано именно с тестем, Василием Зиновьевым. Можно также предположить, что и некоторые другие обстоятельства подтолкнули семью к переезду.
     В августе 1815 г. инспекцией Комиссии для строений в Москве на кирпичных заводах Ивана Шмелева и Дмитрия Кулькова были обнаружены партии некондиционного маломерного кирпича. На заводе Шмелева эта партия составляла 1610 штук; этого оказалось достаточно для подробного дознания. Допрошены были рабочие завода, староста с. Воробьева Ефим Гавриков, благочинный Троицкой церкви о. Димитрий Николаев, кум Устиньи Васильевны Шмелевой – дьячок Иван Семенов. Дознание вел Первый департамент Управы благочиния Московского магистрата.
     Допрошенные в ноябре 1815 г. рабочие завода согласно показали, что маломерный кирпич «купец Шмелев приказал делать... для собственных своих обжигательных печей и починки перемычек» (ф. 32, оп. 6, д. 12, л. 55). Священник Димитрий Николаев свидетельствовал, что Шмелев «поведения хорошего» (ф. 32, оп. 6, д. 12, л. 60). Аналогичные свидетельства дали дьячок Иван Семенов и пономарь Петр Васильев.
      По данному делу власти допросили и хозяина завода. Сам Иван Иванович Шмелев не очень стремился встретиться с представителями правосудия. Все попытки вызвать его для дачи показаний оканчивались неудачей: домашние говорили, что он «находится для покупки леса в роще» (ф. 105, оп. 8, д. 6252, л. 4 об.). Квартальный поручик Валаухов «в дом того Шмелева ходил неоднократно», но в «доме его ни в какое время застать не мог, и, по-видимому, он, Шмелев, от дому своего делает укрывательства здесь в Москве» (ф. 105, оп. 8, д. 6252, л. 7 об.). У дома даже был поставлен караул. Лишь 16 сентября 1815 г. полицейскому чину удалось застать Шмелева и доставить того в часть, чтобы потом препроводить в Первый департамент магистрата. 20 сентября 1815 г. состоялся допрос Ивана Шмелева. Хозяин завода показал, что «такового маломерного кирпича в Москву и на продажу делать никогда не приказывал, да и намерения к оному не имел» (ф. 32, оп. 6, д. 17, л. 32). Показания были письменно зафиксированы и собственноручно удостоверены Иваном Ивановичем: «К оному дапросу московска купец Иван Шмелев руку прелажил» (ф. 32, оп. 6, д. 17, л. 32). Почерк в документе достаточно устойчивый, чувствуется, что Шмелев хорошо грамотен. Но это свидетельство не совсем согласуется с более ранним документом, 1811 г., когда в Книге записи капиталов купцов Кадашевской слободы за младшего брата ввиду его неграмотности запись сделал Иван Иванович Большой.
     22 сентября 1815 г. последовало решение Первого департамента Московского магистрата. Шмелева было велено «впредь до решения дела... отдать на верное попечительство с тем, чтобы он из Москвы не отлучался» (ф. 32, оп. 6, д. 17, л. 34 об.). По сути, мерой пресечения была выбрана подписка о невыезде. Но само дело тянулось еще долго. Срок апелляции Шмелев пропустил, поэтому в июне 1818 г. подпиской его обязали уплатить «противу стоящей цены кирпича втрое»; сверх того, он был оштрафован на 50 рублей. Вся же сумма составила 115 рублей. Некондиционный кирпич был конфискован еще в 1815 г.
     Подобное поведение заводчика особых симпатий не вызывает, но и строгого осуждения тоже не заслуживает. Шмелев, как и многие другие купцы, «наживал состояние своими трудами, но очень разными средствами». Самому закончить дело Ивану Ивановичу было не суждено. Передряги сказались, и к марту 1823 г. (точную дату смерти установить пока не удалось) его уже не было в живых. Дело заканчивали опекуны.
     Как можно видеть, семье и ее главе в эти годы пришлось несладко. Тянувшаяся тяжба о маломерном кирпиче не давала покоя. Было и еще одно осложняющее обстоятельство – переезд на Большую Калужскую улицу, который пришелся как раз на этот период. Около 1818 г. (а не «до пожара», как писал в «Лете Господнем» Иван Сергеевич) Шмелевы стали владельцами дома и усадьбы на Большой Калужской улице в приходе церкви Казанской иконы Божией Матери. Обретение нового дома открыло и новую страницу в семейной истории Шмелевых.