Подростковые и юношеские годы Пассек тесно связаны с Александром Герценом. Отец Саши, Иван Алексеевич Яковлев, взял сыну хороших учителей и, заметив в Татьяне любовь к знаниям и хорошее влияние девочки на характер и успехи Саши, просил отца Татьяны отпустить ее к ним учиться. Это время взросления, юношеских стремлений и мечтаний, проведенное вместе, Пассек и Герцен всю жизнь вспоминали со светлым чувством. «Детьми и отроками входили мы в жизнь, взявшись за руки. Волшебные образы рисовались перед нами в утреннем тумане жизни; он отражал светлый внутренний мир наш, видоизменяя формы мира внешнего. Вместе вступили мы в юность, полные восторга, грусти, радостей, молитв и упований», - пишет Татьяна в своих воспоминаниях "Из дальних лет" (т. 1, гл. 11). Учение увлекало обоих подростков: в истории и литературе они встречали живых людей, которым сочувствовали, примеры которых пробуждали в них стремление к прекрасному. Новые идеи, смелые порывы находили выход в литературных обзорах, исторических статьях и переводах, в которых упражнялись ученики. Живописное местечко в липовой роще принадлежавшего Яковлеву села Саша назвал Эрменонвилем в память Жан-Жака Руссо; Таня и Саша часто ходили туда с книгами. «Нам казалось, - пишет Пассек о Руссо, – что он нес на себе все скорби XVII столетия и выразил собою все, что содержалось теплого и энергического в основе французской философии того века» (т. 1, гл. 17). Любимым автором Саши и Тани был Фридрих Шиллер – романтический поэт юношеской мечты и свободы. Вспоминая об этом времени, молодой Герцен писал Татьяне (в детстве ее звали Темирой) и ее мужу: «Это время наполнено мифами, как царствование Тезея… Я начинаю не верить, что они были… и миф Герцен с широкими мечтами, и миф Темира с пылкими мечтами… Право, жаль, что мы сбились с дороги и не попали в сумасшедший дом» (т. 2, гл. 39).