1949年中共建政之初，柯庆施只官拜南京市委书记兼市长，这职位跟他的“党内老资格”显然不相称。眼瞅着资历比他嫩的人，一个个在新朝都已官居高位；中央的不说了，就说当时中共六个分局的书记高岗、邓小平、邓子恢、饶漱石、薄一波等，哪一个在党内的资格有他老？因此他不免有些失落感。而那时柯已快到“知天命”之年，又不免有种紧迫感：如果再不迎头赶上，一生的抱负就会付诸东流。柯庆施毕竟念过大学，脑子也转的快，他纵向横向一对比，很快便悟到了自己升迁不快的根本原因是过去书生气太足，跟毛不紧。看看人家刘少奇，入党不过早一年，原先也在白区工作，由于紧跟毛泽东，在七大提出了“毛泽东思想”并把它写入党章，一下子就升到第二把手，那是啥速度呵。毛主席早就说了，路线是决定一切的。啥叫“正确路线”？紧跟毛主席就是最正确的路线。

悟到这一层后，柯庆施就开始紧跟了。果然，他的仕途焕发出了青春，从此一帆风顺。1952年10月，柯升任江苏省委第一书记、省政府副主席；1954年10月，调任上海市委第一书记，后兼上海市市长、南京军区第一政委、中共华东局第一书记；1956年9月，在中共八大上当选为中央委员；1958年5月，在八届五中全会上增选为中央政治局委员。1965年1月三届人大一次会议任命柯为国务院副总理。这一路下来，可谓春风得意，前途无量。