王曉棠的丈夫也是演員，兒子降生於1956年。因為她覺得自己是人民群眾中的一員，便將兒子取名為“小群”。1969年12月王曉棠和八一廠的200多人突然被宣布復員了。當時負責安排復員的人告訴武裝部的同志說：王曉棠最壞，最頑固，必須把她弄到最苦的地方去。於是他們被復員到懷柔北台上林場（現在的雁棲湖），那裡是山區的邊緣。復員到林場後，林場場長則特別關照他們。他鼓勵王曉棠說：“八一廠這樣干肯定錯了。”當時安排復員的人聽說王曉棠要求回八一廠，冷冷地下斷論：“死了也別想回來。”王曉棠笑着說：“除非死了，否則我一定要回來。”1972年，場長要求八一廠調回王曉棠，因為這樣復員是錯誤的。八一廠有關同志同意了。於是，林場不久停發了王曉棠和愛人的工資、糧票。但八一廠卻不發給王曉棠夫婦倆的工資、糧票。結果在兩年的時間裡，王曉棠一家三口每月只有兒子的20斤糧票和一點復員費度日。1973年，總政主任李德生批准王曉棠回八一廠，可是不久李德生又被打倒，事情因此擱淺了。這時，兒子小群的肺炎轉重，王曉棠把所有的錢都化光了，最後在醫院裡搶救了3天，兒子還是離開了人世。
兒子去世給王曉棠打擊很大，也成了她一生最大的遺憾。
王曉棠曾說過，“懷柔的6年，卻給了我一生最艱苦、最深刻的體驗，經受過這種體驗之後，沒有任何事情能難得住我，在苦難中積下的財富促我奮進，讓我受益一生。”