王书贵又娶了兵部侍郎张君宪的女儿为妻，正当拜堂成亲的那一日，碰巧老父携着二哥前来寻他。老父说：家乡连年旱涝成灾，饿殍遍野，家中老小包括他的丑妻女儿在内均悉数故去，他的小儿王敬堂也被人贩子拐走，不知下落，他们父子二人无奈只好前来投他找口饭吃。王书贵命人将父兄秘密安置到馆舍，答应办完婚事即去找他们。
王书贵并未因为家乡遭此横祸而忧伤，反而暗暗窃喜：丑妻已死，后患也除，免得日后担了陈世美的罪名。如若来者不是父兄而是妻子儿女，则不知又得花费多少周折。
王书贵说：“爹呀，你们回吧！儿在外面混个小官也不容易，倘若我收留了你们，还说我营私舞弊，影响官声。不如你们还是回去，到时我会给你们些钱财度日。家中如没有我出来做官，你们找谁去？还不是照样饿死？”
老父和二兄哭哭咧咧地走了。
先先皇爷驾崩之后，先皇爷倚重王书贵的权势和手段，赐封他为六部之首，官拜左丞相。
五岁的王敬堂几经周转被人贩子卖到江淮流堿一户潘性人家。潘老是个善人，家有几分薄产，膝下无子，只有一女。老潘怕年老无靠花钱买了个小子，谁知好运不济，不久俩老相继病逝。姐弟俩相依为命，姐姐先嫁人，后来弟弟也娶了房媳妇，生下一子就是潘又安。潘又安八岁那年，父亲生了重病，临死前交待他说：
“崽呀，咱家原本不姓潘，而是姓王，我叫王敬堂。你还有个爷爷在朝中做官，倘若有日见到他，决爹的名字。他不认识你，爹的名字他是知晓的，爹的名字就是他老人家取的，自然不会忘记。”
潘又安入宫之后，打听到姓王的官员无数，他知道哪一位是他的亲爷爷？论相貌看走手，年纪也仿佛，他觉着王书贵倒有点像他死去的父亲，有几次话到嘴边，他都没敢开口直说。他认为王书贵这人品德不好，好好的宰相当着还要谋划人家的江山。他的祖先里不该出这样的人物，所以就没有相认。还有，如果他真是他的爷爷，那么王皇后不是他的小姑妈了吗？传出去岂不贻笑大方，乱了章法。