刘裕出身于，庶族地主家庭。曾祖刘混作过京口县令，父亲刘翘为郡功曹，大约相当于今天的省委秘书长、办公室主任等等类似。刘裕自幼丧母，父亲又早死，祖业败落，家境贫寒，年轻时代依靠樵渔、躬耕养家糊口，艰难度日，倍尝人间辛酸。刘裕曾因赌博欠债无力偿还，被京口士族肆意鞭打。