胤祥出身高貴，是純正的龍子龍孫，金枝玉葉。其父是康熙帝，生他那年，康熙32歲，正值豪氣沖天之年；其母名章佳氏，乃參領（正三品武官）海寬之女。康熙諸子出身，只有二阿哥允礽最高貴，其母是孝誠皇后，也因此他被立為太子，其餘的都是庶出，以母家的門第而論，大阿哥允褆母恵妃，是郎中索爾和女；三阿哥允祉母榮妃，是員外郎蓋山女；四阿哥雍正母德妃烏雅氏，是原任護軍參領威武女；五阿哥允祺母宜妃，是佐領三官保女；七阿哥允祐母成妃，是司庫卓奇女；八阿哥允禩母良妃，是內管領阿布鼐女；九阿哥允禟與五阿哥同母；十阿哥允衣我母溫僖貴妃，是原任輔政大臣遏必隆女。胤祥母章佳氏地位雖然不算高，但架不住康熙帝對其十分寵愛，這從兩點上可以看出來，一是她在康熙二十五年（1686年）生了胤祥，康熙二十六年（1687年）就生了“十三女和碩溫恪公主”，康熙三十年（1691年）又生了“十五女和碩敦恪公主”，六年間生了三個孩子，而且前兩個是連着生的，即康熙二十六年生胤祥，二十七年就生十三公主，說明在允祥剛生下來，康熙帝就與其同房了，可見其對她的格外寵愛。二是其病逝時，當時三阿哥允祉在百日內違反喪儀剃髮（按喪制，皇子在母妃去世百日內不得剃髮），結果遭到康熙帝的嚴懲，從郡王降為貝勒，此舉亦可見她在康熙帝心目中的地位。章佳氏生前沒有得到正式封號，直到康熙三十八年（1699年）薨逝，才因“性行溫良，克嫻內則，久侍宮闈，敬慎素着”追諡為敏妃。雍正即位後，又追封她為“皇考皇貴妃”。由於康熙帝對胤祥母親的鐘愛，自然而然的也擴展到胤祥身上，使他從一出生就得到了不一般的待遇，當然，這裡面也有胤祥自身討父皇喜歡的原因。