1941年毛澤東緻密電給新四軍政委饒漱石：“望派人代表我與日汪商談‘聯日反蔣’，並立即停止部隊與日軍的戰爭行動”（見中共中央政治局常委王明的回憶錄）。饒把這個任務交給情報部長潘漢年，潘隨即赴上海“岩井公館”找他的搭檔袁殊，再會見岩井英一(日本駐上海總領事館副領事,日本外務省特務)，然後他們三人再去見日寇派駐中國的最高特務機關“梅機關”首腦影佐幀昭少將。岩井和影佐早就與潘漢年有“交換情報”的親密關係，互相熟悉，現在知道潘已不是一般情報員而是“毛澤東特使”，就優禮有加，在舉辦歡迎盛宴後會談3天，達成了重要默契，寫了會談紀要，主要內容是：日軍與中共部隊停止一切軍事行動，互相和平共處；中共負責保護鐵路交通安全，不得破壞；中共可到日占區採購戰略物資；對中共開放長江封鎖線，中共人員物資可順利在長江兩岸通行等。這些默契使雙方獲得極大好處：日寇不再受中共部隊威脅，得以抽調大量兵力通過鐵路進攻僻處西南的國軍和東南亞盟國軍隊；中共則不再擔心日寇掃蕩，開始在日占區後方攻占所有國民黨抗日根據地，使中共大大擴張了地盤和軍力，為後來推翻國民黨政府奠定了基礎。 以岩井英一的姓氏命名的“岩井公館”，是上海最大的公開的日本特務機關。令人奇怪的是，它怎麼會以袁殊為首，惲逸群、翁從六為副手的中國人當領導，它有幾百個工作人員也全是中國人，沒有一個日本人，這是什麼原因？知情人會告訴你：“岩井公館”實際上是中共設在日占區的代表辦事處（誇張點說等於是大使館）。潘漢年作為中共代表，經常往來於延安、淮南和上海，通過秘密電台或直接指揮袁殊。日寇明知袁、惲、翁三人是中共黨員，為什麼還會如此重用？原因是毛澤東既然“聯日反蔣”，就是日寇的合作夥伴（幫凶），日寇的意圖是，先與中共聯合消滅堅決抗日的國民黨政府，然後再來收拾實力較弱的中共，因此才把中共人員當作自己人，支持他們積極開展賣國活動。這一事件日後成為其毛澤東判定其有“內奸”罪行的重要依據。1955年，4月3日遭毛澤東下令秘密逮捕。1976年1月，正式宣判「無期徒刑」。1977年4月14日，病逝。臨終前和妻子董慧一起軟禁於湖南茶陵米江茶場（湖南省第三勞改場）。1982年8月23日，中共正式發出紅頭文件，指出：“潘漢年同志幾十年的革命實踐充分說明，他是一個堅定的馬克思主義者，卓越的無產階級革命戰士，久經考驗的優秀共產黨員，在政治上對黨忠誠，為黨和人民的事業作出了重要貢獻”。