而在北洋军政大员的眼里，杜心武虽然当过几年农林部的次长，可是在同僚的眼中毕竟是一个武夫，就是有日本东京大学的毕业证，也不如陆军士官学校的来的响亮。
反正，杜心武是一个边缘人。
‘国党’的人本着能不招惹，尽量不要招惹这位；而在北洋军政大员的眼里。此人不足为患，也不会将精神放在他的身上；洋人的话，也对这位不太感冒；在前朝的遗老遗少的心目中……杜心武应该是忠臣之后……只是年轻的时候，被乱党蛊惑，做了一些年不要命的事，是可以被原谅的；加上他的江湖地位，青红双龙，这个天下，哪里去不得？
就是在法租界安家了，杜心武过的日子。也是那些下野的军政大员羡慕的不得了的生活。
刚在法租界安家，华人总巡捕黄金荣就奉上贺礼，人倒是没去。但是礼物颇为有诚意。主要是黄金荣知道杜心武的脾气不太好，看不得他这样给洋人办事的帮派子弟。
虽然知道自己不受待见，但黄金荣还是嘱咐他的弟子、门徒，招子放了亮一点，杜心武搬进莫里哀路的花园小洋房之后，原先因为这里是‘国党’活动的频繁区域，巡捕房的探子，街头的小混混，帮派人员。都盯着这片区域。
可是这尊大神入住之后，没多久。周围的探子不见了，巡捕房的密探也都撤离了。加上‘国党’自从陈炯明打下广州城之后，重心移向南方，在上海的‘国党’核心和骨干成员，都南下，追随他们的革命去了。整条莫里哀路，连个溜门撬锁的都没有。要不是周围的住户，大部分都是有家有业的洋人，出门的日常用语还停留在‘黄包车’之类的粗浅层次，不然早就把他当成门神给供起来了。
退出政坛之后，杜心武才真正的开始享受起生活来了。
虽然他也有政治希望，但他的希望已经从自己的身上剥离了，他认为，只要顶着王学谦，就万事大吉了。
人总是会给自己找一个偷懒的理由，杜心武虽然是武学大宗师，但也不例外。