原来，两人订婚后，虽还未举行婚礼，但李芝竟然已经和张氏有了夫妻之实。
然而，面对张氏抱来的孩子，李芝却如同他的祖父李景当年一样，铁石心肠，拒绝承认这孩子是他的。李芝的妻子杨氏，更是心胸狭隘，容不下这个孩子。
就这样，无逸被无情地遗弃在长安玄都观门前，恰巧被来京的无极观李老道捡到。李老道几经查访，得知孩子是李家的，抱着孩子送回李家，可李家却坚称与自己无关，拒不承认。
杜十娘听完这一切，惊得目瞪口呆，一时难以接受如此复杂的信息。她愣了好一会儿，才结结巴巴地问道：“确定吗？”
“确定，而且，李芝其实一直都知晓李逸是他的儿子。”杜如晦肯定地说道。
“他既然知晓，为何从未认过？”杜十娘满脸不解，语气中带着一丝质问。
“其实李家一直都知道这个孩子后来的去向，知道是御宿川无极观的老道将他带走了。甚至李芝以前还经常派人暗中看望，也时常给无极观布施一些钱粮。”杜如晦耐心地解释道。
“直到六年前，他们师徒俩离开道观，消失了六年。但李逸一回来，李家便很快知晓了此事。”
如今李家的情况颇为复杂。当家人李景，去年在幽州离世，就连嫡长子李世谟也一同死在了那里。在他的子孙中，现在是嫡长孙李芝当家，可李芝的官职仅仅是个四品的中郎将。
不过，一直未被李景承认的李圆通那一脉，却在隋末唐初崭露头角。李孝常原本只是华阴县令，但在李渊义军南下，最缺粮草之际，他毅然献上了隋朝的大粮仓之一——永丰仓。这一义举，让李渊解除了后顾之忧，得以一举拿下长安。因此，李渊建国后，赐封李孝常为义安郡王。
当年，李孝常的父亲李圆通虽被李景嫌弃，不被承认，但他在杨忠、杨坚父子家做了多年奴隶，却也因办事得力得到杨坚的赏识，受到重用。杨坚建隋称帝，李圆通也是鸡犬升天，从此飞黄腾达，历任内史侍郎、黄门侍郎、尚书左丞、刑部尚书，封爵郡公。
而李渊年幼丧父，儿时被姨母独孤氏和丈夫杨坚接回家抚养，就是那时李渊认识了比他大许多的杨家奴仆李圆通，李圆通当年对寄人篱下的李渊很是照顾，