公元1072年，熙宁五年，农历八月初二，被贬为庶民的杨涵瑶与王安石一家子启程返乡。离京那日杨涵瑶入宫拜别太皇太后，天子，太后等人后，离开皇宫，坐上车直奔码头，家人亲友已在那儿等候。
朝中的官员来得甚少，除了沈括，苏辙，包拯，文彦博外，竟无人再来相送。这也让杨涵瑶充分地体会到了什么叫作“人走茶凉”。
淡淡一笑，喝完送别酒后，登上商船，与众人挥手致别。船行出2里水路，忽然发现河岸两边竟全是民众，他们都是来送杨涵瑶地。
因杨涵瑶此事关系重大，城内还在戒严中，百姓们不敢在城内大肆声张，纷纷出城，沿着河道两岸齐声高呼“千岁”，送别杨涵瑶。
“得名心者得天下……”杨涵瑶心里默默念着此话，眼中升出了一股心意。
熙宁五年农历八月十三，杨涵瑶一行到达常州，受到了常州百姓们的热烈欢迎，这让有些失落的杨涵瑶心里也好过了不少，但心里那个要“彻底打破旧有成规”的念头却是越发强烈了。
回到常州后的杨涵瑶显得很低调，除了在家相夫教子外，就是在书院教书以及做各种实验。熙宁六年开春，因曾支持新法的苏轼被贬，苏轼上表请辞，或准。十日后，便出现在了常州书院的大门口，杨涵瑶自然是隆重招待，苏轼留书院学习新学，并教授书院学生国文。
熙宁六年冬，太皇太后曹氏去世，杨涵瑶未获准回京赴丧，杨涵瑶大哭三日，在常州为太皇太后供奉了牌位，茹素三月，以表孝心。
熙宁七年夏，包拯去世，享年75岁，死时，家中所置办家具竟还是仁宗爷所赐，想要置办一场隆重的丧仪费用都不够。杨涵瑶不得踏入京城地面，只得委托商会送去一份心意，天家得知后，从内库拨款，为包拯举行了隆重的丧会，棺有九台，从九门分别而出，上谥号：肃孝。
熙宁八年春，杨涵瑶在常州生下了第二个儿子，取名王悟。