希特勒當權以來，在德國無論是保守人士或是軍方都有反對者，黑色樂團就是其中之一，它們雖然一度因為希特勒在1938至1941年一連串外交與軍事上的勝利而沉默下來，但在蘇德戰爭爆發後與其他戰區受挫後，又隨之活躍了起來。
1944年初，隆美爾的三位好友，卡爾·史多林、亞歷山大·馮·法肯豪森和卡爾-海因利希·馮·史圖爾普納格開始努力拉攏隆美爾加入反抗陣營，他們需要他的名聲及其在德國人民心中的地位，此外也還包括他的現役陸軍元帥身份。1944年2月時，隆美爾同意支持其陰謀，來拯救德國。但隆美爾反對刺殺希特勒的做法。
7月20日，政變行動失敗之後，納粹黨下令逮捕所有反抗份子，許多人都被懷疑涉嫌。隆美爾對局勢如此發展相當不安，沒多久，隆美爾參與陰謀的事情逐漸明朗化。隆美爾的名字第一次被提到是在巴黎的史圖爾普納格在政變失敗後自殺未成、在被抓獲刑訊期間因為過於痛苦而胡言亂語地多次大喊隆氏的名字。同時，他的副官凱薩·馮·霍法克爾也在蓋世太保酷刑之下提到隆美爾積極參與政變。此外，市民反抗領導卡爾·格瑞里爾曾寫的幾封信與文件中提到隆美爾是潛在的政變支持者，並在政變成功後可作為新政府的軍事領導人。納粹官員也報告，隆美爾人在巴黎時曾多次批評納粹的罪行與不是。這時希特勒已決定將隆美爾除掉。
不久，德國召開了軍事榮譽法庭來決定軍方政變者的命運，其中兩位執行官為曾與隆美爾爭論的古德里安和倫德施泰特。法院決定將隆美爾視為軍方的恥辱踢出軍隊，並送交羅蘭德·弗萊斯勒的人民法院。然而希特勒深知，若將戰功卓著的隆美爾貶為叛徒，將大大損傷自軍的士氣。因此，他和凱特爾決定給隆美爾一個選擇自殺的機會。
10月7日，隆美爾在家中接到凱特爾的電話，要他前往柏林報到，聲稱要與其討論今後任命問題，但被隆美爾拒絕。10月11日，又一位朋友到隆美爾住處拜訪，他們很嚴肅地討論事情，後者告訴前者他拒絕奉召前往柏林，隆美爾深信納粹政府已決定要除掉他。10月14日，希特勒派遣兩位使者—威廉·柏根多夫和恩斯特·麥塞爾將軍前往隆美爾家，柏根多夫告訴隆美爾法院的判決，並表示元首一直很重視隆美爾，他的背叛令他非常痛心，但還是決定給他選擇，是要被逮捕至人民法院，又或是私下安靜地自殺？若是第一種情況，隆美爾的幕僚人員將會被逮捕，家人甚至將被牽連，之後隆美爾確定有罪時將會被處死。若是後者，隆美爾的家人將會得到政府保障的一筆養老金，隆美爾還會享有戰爭英雄逝世的國葬榮譽，柏根多夫因此帶來了一個服用三秒後即會死亡的氰化物膠囊。經過幾分鐘的考慮後，隆美爾選擇自殺。
隆美爾帶着自己的元帥杖，坐上了柏根多夫的歐寶車，並由黨衛隊軍士長海因里希·杜斯駕駛離開村子，杜斯和麥塞爾下車離開隆美爾乘坐的車子。五分鐘後，柏根多夫叫兩人回到車上，這時杜斯發現隆美爾服下氰化物膠囊已死亡。
德國官方宣稱隆美爾死於心臟病，或是先前在盟軍飛機掃射的車禍傷勢惡化。希特勒下令於10月18日舉行盛大的國葬來哀弔隆美爾，發表追弔文稱頌其功績。隆美爾死亡的真相一直到戰爭結束，在紐倫堡大審中由凱特爾作證才被公諸於世。
