1941年毛泽东致密电给新四军政委饶漱石：“望派人代表我与日汪商谈‘联日反蒋’，并立即停止部队与日军的战争行动”（见中共中央政治局常委王明的回忆录）。饶把这个任务交给情报部长潘汉年，潘随即赴上海“岩井公馆”找他的搭档袁殊，再会见岩井英一(日本驻上海总领事馆副领事,日本外务省特务)，然后他们三人再去见日寇派驻中国的最高特务机关“梅机关”首脑影佐帧昭少将。岩井和影佐早就与潘汉年有“交换情报”的亲密关系，互相熟悉，现在知道潘已不是一般情报员而是“毛泽东特使”，就优礼有加，在举办欢迎盛宴后会谈3天，达成了重要默契，写了会谈纪要，主要内容是：日军与中共部队停止一切军事行动，互相和平共处；中共负责保护铁路交通安全，不得破坏；中共可到日占区采购战略物资；对中共开放长江封锁线，中共人员物资可顺利在长江两岸通行等。这些默契使双方获得极大好处：日寇不再受中共部队威胁，得以抽调大量兵力通过铁路进攻僻处西南的国军和东南亚盟国军队；中共则不再担心日寇扫荡，开始在日占区后方攻占所有国民党抗日根据地，使中共大大扩张了地盘和军力，为后来推翻国民党政府奠定了基础。 以岩井英一的姓氏命名的“岩井公馆”，是上海最大的公开的日本特务机关。令人奇怪的是，它怎么会以袁殊为首，恽逸群、翁从六为副手的中国人当领导，它有几百个工作人员也全是中国人，没有一个日本人，这是什么原因？知情人会告诉你：“岩井公馆”实际上是中共设在日占区的代表办事处（夸张点说等于是大使馆）。潘汉年作为中共代表，经常往来于延安、淮南和上海，通过秘密电台或直接指挥袁殊。日寇明知袁、恽、翁三人是中共党员，为什么还会如此重用？原因是毛泽东既然“联日反蒋”，就是日寇的合作伙伴（帮凶），日寇的意图是，先与中共联合消灭坚决抗日的国民党政府，然后再来收拾实力较弱的中共，因此才把中共人员当作自己人，支持他们积极开展卖国活动。这一事件日后成为其毛泽东判定其有“内奸”罪行的重要依据。1955年，4月3日遭毛澤東下令秘密逮捕。1976年1月，正式宣判「無期徒刑」。1977年4月14日，病逝。临终前和妻子董慧一起软禁于湖南茶陵米江茶场（湖南省第三劳改场）。1982年8月23日，中共正式发出红头文件，指出：“潘汉年同志几十年的革命实践充分说明，他是一个坚定的马克思主义者，卓越的无产阶级革命战士，久经考验的优秀共产党员，在政治上对党忠诚，为党和人民的事业作出了重要贡献”。