许昭没有听从吕无为的建议，将手中铁棍一挥，大军潮水般杀向馀姚城。那几百号官兵早已掉转，退回城内。很快，义军追至城下，就在这时，叶子从城楼上站了起来，喝道：“一群乱民焉能成大气候，众兵士，万箭齐发。”

顿时，一阵弓弦声动，箭如密雨，义军盔甲缺少，顿时死伤一片。许昭站在高处，往城下一看，大惊失色，忙吩咐撤兵。义军一撤，叶子又一声令下，城门大开，埋伏在里面的数千官兵杀了出来，义军有被杀死的，有被踩死的，也有被赶到江中淹死的。许昭等人一直退到江岸，官兵也不敢远追，见好就收。许昭命义军安下营寨，然后清点一下人数，五千义军死了大半。

许昭痛心疾首，对吕无为道：“本将不听军师之言，以至于损兵折将，实在惭愧。”吕无为道：“将军休自责，我等初与官兵交手，并无经验，胜不足欢喜，败不应气馁，只需等雷公兄的兵马赶到，合兵一处，定可破城。”

第二天，张雷公所带的五千人从陆路赶来了。许昭分兵两路的用意是自己先头破城，令张雷公迂回城外，斩杀逃亡官兵。张雷公以为官兵必败，因此在馀姚城外安排了多处伏击点，结果，官兵并没有逃跑。很快，张雷公便收到许昭兵败的消息，忙带兵前来会合。

两军合为一处，实力虽增，但士气受损。吕无为见许昭愁眉苦脸的，便上前道：“大将军，你忘了，咱们不是还有一张王牌吗？”许昭道：“什么王牌？”

吕无为笑道：“大将军日理万机，真是忙人多忘事，那日君山大会后，在下向大将军献了几个死士，此时不用等待何时。”许昭喜道：“对啊，你瞧我这浑头浑脑的样子，怎么能担当大将军的重任。”吕无为道：“大将军请勿谦虚，在下知道，你和越王在扬州一带颇为名气，百姓无不归附，在下愿尽力辅佐，助越王和大将军早成大业。”

许昭道：“多谢军师，本将军虽然勉为其难，坐在这个位子上，其实心里一点底都没有，对带兵布阵更是一点经验也无，以后一切还仰仗军师相助了，一旦事成，我父子不会亏待你的。”吕无为忙道：“只要能助越王与大将军成事，在下即使洒血疆场，也心甘情愿。”

第二天，义军又开始攻城。这次，明珠与丁、刘二女被押上战车。吕无为一声令下，有人将匕首往马屁股上一插，战马吃痛，朝城门口狂奔。吕无为将手一挥，许昭亲自带领三千义军，随后杀到。