陈婴这两万人刚刚投靠项梁，英布也带着人马来投奔。
英布，九江郡六县（今安徽六安）人。据说当年有人给英布相过面，说英布“当刑而王”，就是将来会先受刑，而后称王。英布几年后果然犯了法，受了黥刑。
黥刑就是在犯人脸上刺字，然后用墨染，以在犯人脸上留下不可磨灭的侮辱性痕迹。就因为这个，英布又被称为黥布。
别人受刑都难受，英布挺高兴：“算命的当年说我‘当刑而王’，现在我受了刑了，看来富贵不远了。”受了黥刑之后，英布被发配到骊山给秦始皇修坟。骊山刑徒几十万，五湖四海的英雄豪杰、大大小小的管事众多。英布是个妙人，与这些人都套上了交情。瞅了个空子，英布居然带着几个好兄弟逃出来，拉帮结伙往来于长江之上，当了强盗。
因为受到陈胜吴广起义的感召，英布感到自己得富贵的机会来了，决定加入到推翻秦朝的伟大事业中。可是这时候英布手下只有当初一起逃出来的几个弟兄，想独自起义、割据一方那是天方夜谭。因此，英布带着兄弟们投奔了番君吴芮。
番是地名，指的是番阳县，也就是今天的江西省鄱阳县。吴芮就是这番阳县的最高长官。其他县的最高长官都称“令”，比如刘邦老家沛县的最高长官就是沛令。那么，吴芮为什么称作“番君”而不是“番阳令”呢？原来，这个吴芮不是秦朝官方委派的官吏。当年秦始皇派兵攻打楚国，攻占楚国郢都（位于今湖北荆州城郊外的东北处），楚国王室逃亡到寿春（今安徽寿县）。秦军追击楚王，没顾得上整顿番越之地，造成了一大片权力真空地带，以致当地匪患严重。春秋时期吴国开国之君泰伯的第二十九世孙吴芮主动站出来，组织乡勇抵抗散兵、土匪，得到了百姓的一致拥护，势力范围北到安徽祁门，东到赣浙边界，南到福建，西到都昌、鄱阳，人马数万，亦农亦兵。后来陈胜吴广起义，天下皆反。为了稳定南方，安抚百越，秦朝采纳丞相李斯的建议，封吴芮为番君，想用这么个称号换一个不要钱的帮手。
英布投奔吴芮之后，游说吴芮参加反秦大事。吴芮不仅欣然同意，帮英布凑了数千人马，而且认为英布是条好汉，能成大事，还把自己的女儿许配给英布。
英布是秦末有名的名将，敢打硬仗。秦将章邯势如破竹剿灭张楚之后，别人都不敢捋章邯的虎须，英布却敢主动出击，带领着弟兄们在青波（今河南息县与新蔡县交界处）大破秦军，顺势夺回了陈县。
一场大胜并没有使英布头脑发昏。