會議一開始，毛澤東就借用湖南省委提出的“成績偉大、問題不少、前途光明”三句話作為會議的指導思想。當時，與會者對於如何評價總路線、“ 大躍進”、人民公社“三面紅旗”，有很大分歧。毛澤東說，“大躍進”、人民公社運動中發生的問題，從鄭州會議到現在己經初步解決了。從全局來說，是九個指 頭和一個指頭的問題。劉少奇提出，成績要講夠，缺點要講透。有一些同志認為“大躍進”的成績應該肯定，但是存在的缺點、錯誤和帶來的後果，比想象的要嚴重 得多，應該認真總結經驗教訓，承認指導思想有失誤，採取措施切實糾正。也有一些同志不願多講缺點和教訓，還有意無意地壓制別人揭露問題、提意見。隨着討論 的不斷深入，批評“三面紅旗”的意見越來越多。特別是7月16日毛澤東以《彭德懷同志的意見書》為題，批印了彭德懷的那封信以後，堅持還是否定“三面紅旗 ”的分歧更加鮮明突出，基本贊成彭德懷《意見書》觀點的占多數。這期間，李銳也曾問周恩來對彭德懷的《意見書》的看法，周恩來說“那沒有什麼吧”。

7月23日。毛澤東在大會上講話，對彭德懷的《意見書》中的觀點逐條批判。他聲色俱厲地說，假如做了10件事，9件都是壞的，都登在報上， 一定滅亡，應當滅亡。那我就走。到農村去，率領農民打游擊，造反。你解放軍跟不跟我走?我看解放軍會跟我走的。毛澤東把問題看得如此嚴重，會議氣氛驟然緊 張。

廬山會議從糾“左”轉向反右，彭德懷的《意見書》是“導火索”，看來事情帶有偶然性，其實不然。會議前期，大家思想並沒有敞開，對形勢的估 計一直存在分歧，一些不同意見遭到壓制。毛澤東原來估計，彭德懷的《意見書》印發後，會引起一些人的批評和反對，而實際情況卻是得到了不少人的同情和支 持。毛澤東懷疑黨內有人在颳風；一些“左”派人物感到批評“三面紅旗”的人越來越多，會使人泄氣。擔心“左”派隊伍守不住陣地，有人就到毛澤東那裡去告 狀，要求毛澤東出來講話。與此同時，從中央到地方都不斷傳來對“三面紅旗”的尖銳批評；在國外，赫魯曉夫和東歐國家的一些領導人，也連續發表批評中國“大 躍進”和人民公社的講話和文章。這一切都使毛澤東感到形勢嚴重，必須進行反擊。會議從糾“左”轉向反右。事先並沒有經過中央政治局常委討論。劉少奇對反右 是有保留的。他曾找胡喬木談話，表示對彭德懷的《意見書》，可以在小範圍內批判，總的部署還應繼續糾“左”，《記錄》要爭取發出去，讓下面繼續糾“左”。 他要胡喬木向毛澤東反映這個意見，胡喬木說這已經不可能了。