许世英因同时整顿吏治，得罪了各县的军阀余孽和饥鹰饿虎的爪牙，攻讦诽谤之声由此四面袭来。安庆城内，无是生非、无中生有地恶意中伤许世英的印刷品到处可见。
面临这种情况，许世英沉稳应对，一方面借公布赈抚情况之机，对社会流言诬陷，加以批驳；另一方面继续推动反贿选运动日益扩展，自1921年冬至1922年春，先后由法院判决无为、桐城、宿松、舒城、广德等地第三届议员资格无效。
这时，诸贿选议员狗急逃墙，又分别去京、津、沪、宁、汉等地煽风点火，千方百计与许世英为难。
另一件棘手的事，就是执行裁兵的重大决策。
1922年2月，华盛顿会议，继海牙会议之后，提倡各国裁兵，亦呼吁中国裁兵。远在武昌的张汉卿首开废督之先例，率先宣布辞去所兼陕甘巡阅使、甘肃督军职务。
接着韩麟春亦发通电，自辞陕西督军。张作霖、孙烈臣、吴俊升也不让人专美于前，相继宣布辞去本兼各督军职务。
这时奉系麾下各省均已达成文官治政，军人统一控制在人民军、关外奉军、东北边防军及东北护路军各司令部之下。彻底摒弃了民国初军阀林立，军人干政的不良风气----张作霖父子要的是全国的“大政”，祸乱地方之弊端，当然不能在治下出现。
而且军人不干政，装备、军饷统一由总部发放，各路诸侯都没有足够的实力自成体系，也间接地防止其拥兵自重，实在是一条控制军队的妙计，张作霖推行起来不遗余力。
各省也掀起了废督的口号：山西督军阎锡山也顺应民意，改督军为军务督办。粤、桂、滇、川、黔、闽、浙各省督军改为军务督理，虽然换汤不换药，却也说明军阀统治之不得人心。
在此大气候下，废督裁兵也成了皖省的舆论中心。
当时安徽的军队为倪嗣冲和张勋的遗产，全省成了倪嗣冲旧式巡防营的天下。倪嗣中被袁世凯封为安武将军后，该部亦改称安武军；张勋定武军的徐州镇守使所部，亦驻守在皖北境地。张勋复辟失败后，徐州镇守使张文生所率的定武军，即归属倪嗣冲节制，改称新安武军。
新委武军有40营（每营号称万人），旧安武军共五个混成旅。当时皖省岁入800余万，支出军费为其大宗，计旧军年380万，新军140万。皖省本贫瘠，灾歉之余，综计新旧债项，毛愈400万。
许世英认为皖省的财政因支付军费过巨，以至百业不振，为此他建议：先将新军的军费全部由中|央承担，并归中|央主持裁撤；旧军的裁撤，则照国务院规定办理。
安徽的废督裁兵运动，得到了省内外各界人士的全力支持。