王晓棠的丈夫也是演员，儿子降生于1956年。因为她觉得自己是人民群众中的一员，便将儿子取名为“小群”。1969年12月王晓棠和八一厂的200多人突然被宣布复员了。当时负责安排复员的人告诉武装部的同志说：王晓棠最坏，最顽固，必须把她弄到最苦的地方去。于是他们被复员到怀柔北台上林场（现在的雁栖湖），那里是山区的边缘。复员到林场后，林场场长则特别关照他们。他鼓励王晓棠说：“八一厂这样干肯定错了。”当时安排复员的人听说王晓棠要求回八一厂，冷冷地下断论：“死了也别想回来。”王晓棠笑着说：“除非死了，否则我一定要回来。”1972年，场长要求八一厂调回王晓棠，因为这样复员是错误的。八一厂有关同志同意了。于是，林场不久停发了王晓棠和爱人的工资、粮票。但八一厂却不发给王晓棠夫妇俩的工资、粮票。结果在两年的时间里，王晓棠一家三口每月只有儿子的20斤粮票和一点复员费度日。1973年，总政主任李德生批准王晓棠回八一厂，可是不久李德生又被打倒，事情因此搁浅了。这时，儿子小群的肺炎转重，王晓棠把所有的钱都化光了，最后在医院里抢救了3天，儿子还是离开了人世。
儿子去世给王晓棠打击很大，也成了她一生最大的遗憾。
王晓棠曾说过，“怀柔的6年，却给了我一生最艰苦、最深刻的体验，经受过这种体验之后，没有任何事情能难得住我，在苦难中积下的财富促我奋进，让我受益一生。”