治公孙贺家族巫蛊案的人是江充，他也是整个巫蛊祸事里的一个关键人物。
江充本名江齐，是赵地邯郸人。太史公司马迁在《货殖列传》里说，燕赵两地地薄人多，“丈夫相聚游戏，悲歌慷慨”，女子名琴鼓瑟，穿着舞鞋到处“游媚富贵”，“入后宫，遍诸侯”。江齐的妹妹也是能歌善舞，江齐就把她进献给赵世子刘丹，因而做了赵王刘彭祖的宾客，终日与刘丹厮混。江齐发现，刘丹秽乱赵王的后宫，并与自己的同胞姐姐通奸。
时间一久，嫌隙渐生，刘丹怀疑江齐将自己的阴私告诉给了父亲刘彭祖，就派人去捉他，却被江齐给跑了。刘丹惊怒之下，就杀了江齐的父兄。江齐向西逃入长安后，改名江充，于是上书朝廷告发刘丹的乱伦秽行，还说他结交地方上的奸猾，为祸一方。武帝闻之大怒，立即派兵逮捕刘丹，并判其死罪。
这时候，赵王刘彭祖上书说：“江充不过是一个在逃的小吏，他奸诈无常，此次上书激怒皇上不过是为了报复私怨，就算把他烹了，也没什么可惜的。我愿意挑选赵地的勇士从军出征匈奴，在战场上冒死尽忠，用以为太子刘丹赎罪。”经赵王这一劝说，武帝才赦免了刘丹的死罪，可是也不能再让其做赵世子了。
经此一事，江充受到了武帝的重视，武帝认为他不畏强权，于是把他招来。江充本来英俊貌美、体高健壮，他为了见武帝，又特地带着高冠，披上羽毛。果然，性格夸饰猎奇的武帝一下子对他“惊为天人”，心里喜欢得不得了，还赞叹说，燕赵之地果然多有奇人。
武帝有意栽培，就以时政考校江充，江充对答如流，武帝心里更加高兴。这时江充提出一个很奇怪的要求，说要出使匈奴。武帝就问，要用什么办法对付匈奴人。江充只以一个满不在乎的“随机应变”来应付武帝，大有孙武子的气度，武帝非常满意，于是拜江充为谒者，叫他出使匈奴。
匈奴并非是乐土，而是苦寒之地，江充出使匈奴可能是为了立功而谋一个出身。而赵地自古与匈奴相接——战国时的赵将李牧就是因长年戍守边境、抵御匈奴而著称的——江充是赵人，难道他与匈奴另有什么渊源？不得而知，只知道后来江充大搜巫蛊时，身边总跟着一个“胡巫”檀何。而这个“胡巫”檀何就是江充向武帝推荐的，江充吹嘘说此人能望云气，哪里有巫蛊一望就知。这檀何很可能是匈奴人。
一年后，江充从匈奴载誉归来。武帝拜他为水衡都尉，不久又升他为“直指绣衣使者”。
“绣衣使者”的任务是“督