1945 年8月15日，日本天皇裕仁廣播《終戰詔書》宣布無條件投降。9月2日，日本天皇、政府及日本大本營代表在投降書上簽字。日本投降書籤字不久，原中國派遣 軍總司令岡村寧次，即向中國陸軍總司令何應欽提出，“華中長江與黃河尚有30萬日軍，建議暫不繳械，由本人率領，在貴司令的統一指揮下，幫助國軍圍剿共 軍。”這一圖謀，遭到中國政府嚴辭拒絕。

部 分日本人“捲土重來和確保海外日本人勢力”的戰後構想成了泡影。但是在山西省，由於經濟、政治方面特殊的原因和條件，日軍殘留的圖謀卻得以實施。經濟方面 的原因，是山西具有軍國主義勢力圖謀戰敗後復興所必須掠奪、利用的豐富資源和潛在生產力。政治方面的條件，是軍閥閻錫山的存在和日本侵華期間開展“對伯工 作”（閻錫山，字“百川”）的基礎；特別是抗戰勝利後閻錫山想利用日軍對抗解放軍的企圖。正是基於這樣的原因與現實條件，駐晉第一軍及其他侵晉軍國主義分 子，醞釀、策劃並實施了“山西殘留”：利用軍閥閻錫山留用日軍對抗解放軍的企圖，在閻的“屋檐”下暫時蔭庇，而以具有獨立控制力的軍隊殘留下來，輔之以經 濟、政治、文化、情報和社會殘留，把山西變成日本實際的殖民地，用戰勝國的資源服務於戰敗國的經濟復興，等待國際局勢變幻，山西就是日本重新向大陸擴張的 前進基地。

1945年8月初到9月初，山西軍 閥、第二戰區司令長官閻錫山，就日軍投降與二戰區受降，與日本華北派遣軍參謀長高橋坦、第一軍司令澄田睞四郎、參謀長山岡道武等接觸交涉。在此期間，雙方 便談及“日本寄存武力於中國”問題。隨後即派員秘密談判，達成協議：將投降後的日本軍人編成部隊，置於閻錫山的編制下；閻錫山對“殘留”下來的日軍提供優 越條件，官佐階級在原基礎上提高二級（一說三級），兵士全部給予軍官待遇……到1946年4月，殘留日本主體部隊編制日本軍人已有6600多人。

殘 留活動策劃、組織者還企圖使“殘留”下來的日人勢力與山西這個中國社會結合，紮根、生存，進而重新占有山西。據現有檔案資料綜合分析，編入殘留部隊的日 軍，安插在山西經濟、政治、情報、文化等組織機構的日本軍人和僑民，連同所帶家屬，總數約在12000人左右。為殘留日軍開辦消費合作社、“慰安所”，為 殘留日僑創辦學校、俱樂部，建立殘留日人社團、創辦殘留日人報刊，也在實施或籌劃中。

日 軍有組織地殘留，保留武裝繼續戰爭，引起“軍事調處執行部”關注。1946年1月，八路軍即向日軍發出通告：“日軍在投降後仍然和戰爭結束前保持同樣的武 器，不將兵力集結一處，而是部署各個要點，這違反《波茨坦公告》。”2月，軍調部太原執行小組共產黨方面代表，專門到原日軍獨立步兵第十四旅團元泉馨殘留 部隊駐紮的“東沁線”視察。3月，軍調部美方代表、美國總統杜魯門特使馬歇爾與國民黨代表張治中、共產黨代表周恩來到太原視察。

為 避免違反《波茨坦公告》而引發國際問題，殘留組織者採取將殘留日本軍人“就地復員”，及偽造技術人員身份和名冊的辦法，瞞天過海，繼續殘留。1946年4 月，從形式上下令撤回編入特務團人員，旋即着手部隊改編。5、6月間，殘留日軍部隊特務團、鐵路（公路）修復部隊編為山西保安總司令部。1947年3月， 保安總司令部編為山西野戰軍。1947年6月，即正式編為陸軍暫編獨立第十總隊。總隊部設在太原市新民正北街原侵華日軍第一軍司令部，辦公處稱“復興 樓”，從總隊長今村方策到各團骨幹力量，基本是日本人。1948年3月，十總隊改稱“太原綏靖公署教導總隊”，實質並無變化，習慣上仍稱十總隊。

由 於殘留活動的組織實施，侵華日軍第一軍司令澄田睞四郎掀去戰犯的帽子，被聘為閻錫山的軍事顧問。第一軍參謀長山岡道武有專門設立的“武顧問室”，一一四師 團師團長三浦三郎有專門設立的“蒲研究室”，獨立步兵第十四旅團旅團長元泉馨有專門設立的“元副總司令辦公室”。日商山西產業株式會社社長河本大作等，被 聘為閻錫山的經濟顧問。這些軍國主義分子，仍舊住着公館，坐着小車，享受着優厚待遇。殘留日軍在主體總隊之外，還組建了由日軍軍官任總司令、總教官及部隊 骨幹的機甲隊。數百日本官佐並被派往閻錫山軍事組織擔任教官，對部隊進行日式訓練。日本軍人則唱着“將士的紅領章，恰似萬朵櫻花開”的日本軍歌，在汾孝戰 役、晉中戰役、太原戰役等作戰中，頑抗中國人民解放軍，屠殺和殘害中國人民。

然而，在解放戰爭摧枯拉朽的炮火聲中，軍閥閻錫山逃身海外，附植於閻錫山軍隊的殘留日軍，也隨閻軍的覆滅而覆滅。

1949年4月24日，太原解放。原第一軍參謀岩田清一、原日偽山西省公署顧問城野宏，及十總隊日軍殘寇不到400人，在其司令部“復興樓”全部被俘。十總隊總隊長今村方策被俘後服毒自殺。至此，閻錫山部隊中的日軍已基本被解放軍全部殲滅。