2007年6月2日，中共政治局常委、國務院副總理黃菊病逝，享年69歲。他是中共廢除終身制以後，第一位死於任上的政治局常委。當時，中共中央、全國人大、國務院、全國政協聯合發布訃告稱，他是“中國共產黨的優秀黨員，久經考驗的忠誠的共產主義戰士，黨和國家的卓越領導人”。訃告並沒有說黃菊得的是什麼病，而海外媒體廣泛報道說，黃菊患的是胰腺癌。

黃菊病逝三天之後，已經退休的江澤民，和胡錦濤等現任政治局常委、政治局委員、人大副委員長、政協副主席，以及已經退休的政治局常委朱鎔基、李瑞環、尉健行、李嵐清等人在北京八寶山革命公墓送別黃菊，可謂極盡哀榮。

2005年1月29日，黃菊在瑞士達沃斯世界經濟論壇致辭，這是他最後一次在國際場合露面

在晉升常委前，黃菊任上海市委書記。在他患病期間，中共上海市委書記陳良宇落馬，當時外界盛傳黃菊有可能涉陳良宇案，或將面臨整肅。黃菊在上海灘官場集體貪污案、腐敗案、社保案等鬧得沸沸揚揚之際去世，有人說他“死得其時”，不管有無問題，是否比陳良宇更嚴重，都不會再追究了。

2005年12月，黃菊赴上海參加洋山港開港慶典，回北京不久突然病重住院。2016年4月1日，他的機要秘書馬弘在上海《新民晚報》撰文稱，“我當時根本不相信這是真的。在上海時他還對我說，（2004年）到格爾木青藏鐵路建設工地慰問幹部職工時，在海拔3,800米的工地上他走到工人們當中，和工人們握手說話，並沒感到有什麼高原反應，對自己的身體狀態很是滿意。怎麼說病就病了呢？”

值得一提的是，黃菊曾於2006年10月返回上海華東醫院接受治療四個多月。2016年6月5日，前中共上海市委副書記劉雲耕在《新民晚報》撰文披露，那段時間，黃菊病情相對穩定，雖然感到疲憊衰弱，時有隱痛，但他仍不斷操心工作，多次在上海西郊賓館接待中外來賓，甚至往返北京參加會議。

劉雲耕透露，在整個醫療過程中，黃菊夫人余慧文研讀了很多有關醫藥書籍，先後參加了很多次會診，上網查閱國內外相關資料，平時居然可以與醫生們專業對話，探討治療方案。“我覺得她已經是這方面的半個專家了。”但劉雲耕沒有說，余慧文是不是醫生出身。

黃菊生前最後一次在官方媒體公開露面是2007年3月出席全國“兩會”。他參加了全國人大開幕會與上海代表團討論。馬弘在文章中寫道，這一年2月下旬他去醫院看望黃菊。黃菊說，全國“兩會”要開了，手頭還有一些事情要處理。還要到會上與大家見見面，打聲招呼，也算是告別。

2007年5月31日，劉雲耕去北京協和醫院探望黃菊。當時黃菊已呈昏睡狀，余慧文等人陪伴在旁，一臉愁容。醫療專家組說病情極其不好。6月1日，黃菊病情急劇惡化，入夜，生理機能已只能靠機器維持。約子夜1時，前來作最後探望的多位中央高層領導已先後離去，劉雲耕匆匆趕回病房守候。2時零3分，醫院正式宣布黃菊逝世。余慧文悲痛欲絕，大家相繼勸慰。而就在一周前，余慧文已在北京協和醫院的病理解剖志願書上簽字，遵照黃菊遺願，遺體獻給醫學事業。

劉雲耕說，黃菊去世後，護士很專業地對遺體進行了保護性護理，覆蓋上白床單，放上鮮花，又手腳麻利地把病房內的搶救器具、醫療藥品一一撤出。大家向黃菊遺體默哀鞠躬，每人獻上一支黃花。凌晨3時，遺體被推離病房。

2015年，遵循黃菊“本是布衣身，回歸布衣群”的遺願，余慧文請求中共批准，將黃菊骨灰從北京八寶山遷回他工作了40年的上海，在青浦福壽園公墓安葬。