谢沣只能甘居人臣，因军功卓著，被封为宁海王，赐王府于天子脚下的京城，享天下富贵，一时无两，可功高盖主、盛极必衰，向来如此，也遭到了天子的警惕与其他同朝臣子的嫉恨。
谢家好日子没多久，被臣子参奏，说其居功自傲，不敬君主，在私人宴会中更口气狂傲地贬低皇室，认为元家抢了谢家的天下。
因此谢家人在朝廷内占据的重要官职被一一卸任。
宁海王甚至因此获罪，流放西南瘴湿地，途中遇时疫爆亡。
随后，谢家也被抄家，子孙皆流落在外，更有几个年纪大的儿子，无端端横死于外放途中。
宁海王当时最小的一个儿子谢恩铭，尚在襁褓，被老管家抱出去私下养育。
而这个小儿子成年后，被宁海王的心腹刘处基找到，者才得知，父亲尚有一只秘密军队，秘养在西北边疆，这只军队被称谢家军，是谢沣的死士，每个人皆以一当十，武功卓绝，且仅效忠于谢氏，早就密谋想要为谢家报仇，与刚成立没多久、根基尚不稳的大晋来个鱼死网破。
刘处基深受宁海王的恩德，没齿难忘，更在京城设下了一个德贤庄，表面上只是个茶庄子，供京城文人墨客偶尔来此喝喝茶，饮饮酒，吟诗作赋，实际却是在此方便与西北的秘密军队联系。
谢恩铭却无意当叛臣逆党派，并非胆小怯懦，而是他知道，元氏已逐渐坐稳天下，且因征战连年，百姓与臣子们都已对打仗心生排斥延误，一心向着朝廷，便是父亲的秘密军队再厉害，只怕也无法抵众，便安抚下军队，悄然离开，隐居世外，再不出现。
因为他知道自己若出现，父王的军队就总无法安心，总会示他为主人，想要与朝廷对着干。
许多年后，栖身于边疆小城的谢恩铭在外娶了妻，便是谢佑祖的母亲程氏，程氏乃边疆小武将家中的女儿，与流淌着宁海王血脉的丈夫也算是琴瑟和鸣，过得还算幸福。
谢恩铭蜗居边疆小城时，与京城的刘处基也暗中联系过。
所以，刘处基也直到宁海王留下的唯一的子嗣谢恩铭，已在外面娶了程氏为妻。
而婚姻生活中，程氏也知道了丈夫的经历与背景。
谢恩铭甚至将父王宁海王留下来能够调兵遣将的铁令牌交给爱妻保管。
若谢家夫妻能就此在边疆小城度过余生，倒也算不错。
可谢恩铭的下落却不慎流落出去，暴露到了京城那边。
某夜，京城来人将偷袭夫妻两人的宅子。
谢恩铭为护怀孕的妻子，中刀身亡。
身怀六甲的程氏躲过一劫，因为有些身手，朝东南方向一路逃去，路上诞生下谢佑祖，随后，终于来到金陵府利川县下面的盘山村，在此居住下来，因怕儿子也遭受和丈夫、谢家一脉一样的下场，便一直低调生活，几乎不出村子，也不让儿子离开。