楊尚昆是一九六五年十一月十日被打倒，而同一天姚文元的文章“評新編歷史劇〈海瑞罷官〉”在上海發表。

20世紀60年代發生在中共中央高層的“秘密錄音事件”，導致楊尚昆、葉子龍等一大批高官受到迫害：
　　1961年4月26日晚，正在河北省保定市調查研究的中共中央辦公廳主任楊尚昆突然接到中辦副主任龔子榮的電話，要求楊尚昆務必於第二天下午趕回北京。當晚，楊尚昆在日記中寫道：“腦子中很亂，整夜未睡好。”

　　次日下午，楊尚昆回到北京。他在永定門車站向小平、彭真略談了一下情況。回京後的第一件事就是向處於中央一線工作的最高領導人匯報。此後幾天，楊尚昆又先後找到中央辦公廳機要室副主任、周恩來秘書康一民、毛澤東秘書、中共中央辦公廳機要室主任葉子龍等人多次談話。而攪得楊尚昆吃睡不寧的正是震動中央高層的所謂“竊聽器事件”（也稱“秘密錄音事件”）。

　　後來，人們從葉子龍回憶錄中獲知：1961年，毛澤東為在他的專列上安裝錄音線路的事發了一次大脾氣。

　　毛澤東為何大發脾氣？根據毛澤東生前的一些警衛員、服務員的回憶文章，大概情況是這樣的：1961年春，毛澤東乘坐專列到廣東、山東一帶調查研究。某日，毛澤東和一位服務員(K，這作者口還挺緊，毛的保健醫生揭露是一個托兒所的幼兒老師，而不是所謂服務員)在專列辦公室談話。完後，服務員步出，恰遇另一專列工作人員(中央安排的“黑人”劉姓機要室錄音員)。這位工作人員得意地告訴服務員，他知道剛才毛澤東與服務員的談話內容。服務員問他為何知道，那位工作人員便展示了錄音裝置及設備。服務員轉身便向毛澤東作了匯報，毛澤東聞訊後，大發雷霆。“秘密錄音”的事情就這樣鬧大了。

　　從楊尚昆的日記的注釋和葉子龍的回憶錄中看，對毛澤東的錄音始於1958年11月。其目的，主要是為了更準確、更完全地保存黨中央會議和中央領導同志在會議上的講話的歷史文獻資料。

　　錄音工作的建議是葉子龍首倡的。作為毛澤東的機要秘書和中辦機要室主任，葉子龍覺得有責任利用現代化的記錄手段，即儘量把毛澤東的話一字不漏地記下來，他曾多次向上司楊尚昆和周恩來等中央領導同志匯報過這個建議。

　　從以後的結果看，最高權力層面似乎是接受和執行了這個建議的，毛澤東本人也是認可了錄音的做法的。毛澤東曾對葉子龍說：“錄音要搞個規矩，沒有規矩不成方圓嘛。”根據毛澤東的指示，中辦機要室對錄音範圍和內容做出明文規定：中央政治局常委在中央召開的大、中型會議和其他重要會議上的報告、講話；毛澤東和其他中央領導同志與地方領導同志的重要講話；中央召開的電話會議；中央領導指定的需要錄音的內容。毛澤東看過這個規定，表示同意。

　　然而，問題又出在這個規定上。譬如，有些會議，恐怕中央領導是不願意錄音的。這又該怎麼辦？1959年11月，中央在杭州召開會議，毛澤東在一次講話中講到中蘇關係時，關照大家不要做記錄。當時胡喬木插話，還有錄音呢。毛澤東批評說：是誰讓錄音的，搞這幹什麼？葉子龍立即讓錄音員停止了錄音。葉子龍在回憶錄中寫道:“從此，機要室就再沒有自行派錄音員跟隨毛主席外出錄過音。”

　　既然1959年11月杭州會議後葉子龍再也沒有派人跟隨毛澤東外出錄音，那麼1961年春季“錄音事件”的錄音者又是誰派的？

　　5月2日下午，楊尚昆向剛剛返京的周恩來總理匯報了“錄音事件”。當晚，楊尚昆仍感“心情不安、坐臥不寧”。六天后的晚上，楊尚昆提筆給毛澤東寫了一封信，“對錄音事的疏於檢查作檢討並請處分”。當天上午，中央書記處曾就此舉行會議。會後，周恩來、鄧小平、彭真和楊尚昆又在一起商談了關於錄音問題的處理意見。

　　6月中旬，錄音事件的影響後果之一，就是中央決定田家英任中辦副主任，以加強領導。6月24日下午3時半，楊尚昆召集有關人員，“交代洗掉過去的錄音帶問題”，並要求“彭真參加”，後又“約汪東興談取消各首長處的日記問題，彭真參加”。

　　同年4月，中央書記處根據毛澤東的指示，批評了中央辦公廳機要室，並決定給機要室主任葉子龍、副主任康一民以嚴重警告處分，給機要室副主任吳振英以警告處分。毛澤東、周恩來、劉少奇等人的秘書都牽連進去，都受到處分。

　　此外，同年5月17日，中央書記處批准了《關於錄音、記錄問題的決定》，作出了關於中央和地方黨政軍群一律不准搞錄音等五項規定。“秘密錄音事件”引發的政治風暴實際上遠不止處分了中共最高三位領導人的秘書和通過了中央書記處的一個決定，葉子龍曾經在回憶錄中寫道：“在所謂‘秘密錄音’一案中，不僅中央辦公廳的領導幹部和機要室的許多同志被迫害，而且還株連了中央和地方的一些單位的負責人，如徐子英、王諍、林海雲、李伍、黃赤波、任兆祥、王芳、呂展、郭向民、謝滋群、朱漢雄、蘇漢華、狄飛、丁兆甲等許多同志。”葉子龍本人也因此案被監護審查了七年之久。