其实，早在高远赖继的祖父高远继宗担任高远家家督之时，高远家就开始与信浓守护小笠原家暗中勾结。
高远继宗甚至还趁着主家诹访家内讧之际，出兵相继夺取了中泽乡、辰野乡等地，将高远家的版图达到了鼎盛。《赤羽记》更是直接以“继宗文武双达，遂全有伊那之地，不下十万石”来表达高远继宗担任高远家家督之时高远家的强盛。
但好景不长。
在高远继宗之后，继任高远家家督是高远赖继之父高远满继。
可高远满继不仅没有遗传到高远继宗的文韬武略，自己能力平庸不说还傲慢待人，不得家中人心，唯一继承的只是高远继宗对诹访总领家取而代之的野心。
随后，诹访赖满（诹访赖重祖父）趁机借此良机拉拢了不少高远家重臣、旗下国人领主，使得高远家的实力大为衰退，无法凌驾于诹访总领家之上。
高远满继倒是没有坐视诹访总领家的势力进一步扩大，就主动与诹访总领家进行交锋。
但高远满继因不得人心的原因，导致并没有太多的人愿意为其卖命。
最后，高远满继被诹访赖满打得是毫无还手之力，只能老老实实的臣从诹访总领家。《赤羽记》中还以“满继傲慢无礼，诸士疏远，是故大衰，仅余二成之力，即两万余石也”来形容高远家的衰落。
不仅如此，高远满继迫于来自诹访总领家的压力，只能让其子高远赖继迎娶诹访赖满之女为正室。
等到高远赖继继承高远家家督之位后，也并没有太大的改观。
因为，高远赖继只隔代遗传了祖父高远继宗的武力以及野心，并没有遗传到高远继宗的智略。
直到武田晴信主动派遣使者山本勘助找上门，高远赖继就认为再度向诹访总领家举起反旗的时机已至。
于是，高远赖继就非常爽快的答应下来，准备与武田家联合起来向诹访郡发起钳形攻势。
毕竟，在这战国之世中，就算是姻亲之盟有时比白纸还脆弱，若是真的相信姻亲之盟能让两家的关系从此稳如磐石，那迟早要遭殃。
当然，诹访赖重已经深刻体验到了这个恶果。
甚至在武田军兵临桑原城下之际，诹访赖重还对武田晴信抱有一丝换线，听信了武田军使者山本勘助那花言巧语，放下了武器，主动开城向武田军投降了。原本诹访赖重意图抵抗到底的豪情也顿时烟消云散。
值得庆幸的是，诹访赖满并没有亲眼看到诹访家的灭亡。因为他病逝于诹访家灭亡前的两年半之前，享年六十七岁。
武田军在兵不血刃的夺取上原城的同时，还俘虏了不少诹访一族之人，其中就包括着诹访赖重的正室祢祢与其嫡男诹访寅王丸。
而武田晴信这边在欺骗得手后，就显现出了狰狞的真实面目。
武田晴信不仅没让诹访赖重与其妻儿团聚，反而是令担任过自己后见役的板垣信方（板垣信形，武田家一门亲族众）将诹访赖重与其弟诹访上社大祝诹访赖高押送至甲斐东光寺，并迫使他们兄弟二人切腹自尽，以此来铲除后患。