按清制，皇子年滿15歲可封爵，其爵級由皇帝欽定。康熙帝第一次大規模分封皇子是在康熙三十七年（1698年），皇八子胤禩以前的皇子都得到了封爵，當時胤祥13歲，還不夠格，沒有他，不奇怪，但第二次就不同啦，康熙四十八年（1709年）三月，康熙帝復立胤礽為皇太子後，為求得諸王子間的政治平衡，收買人心，平息爭鬥，用爵位金錢換平安，再次加封諸子爵位：封皇三子胤祉、皇四子胤禛、皇五子胤祺為親王；皇七子胤祐、皇十子胤衣我為郡王；皇九子胤禟、皇十二子胤裪、皇十四子胤禵為貝子。這次晉封爵位比胤祥年齡大的兄長有份，比他年齡小的弟弟也有份，獨他空白。如果說那年第一次加封他年紀小還可以理解，但這次他都23歲啦，跳過他去，於情於理都說不過去了，肯定是在什麼地方或某些方面深層次的得罪了父皇，而更令人費解的是，獲得加封的那些人都是爭奪儲位的積極分子啊。有些人甚至猜測這是皇帝在用一種特殊的方式有意保護他，但這樣的保護，估計當年的胤祥看不出來，也理解不了。

        當然也有另一種說法認為：胤祥是加封過的。《永憲錄》說他曾被封為貝子，如說他“以舊東宮事波及，亦削貝子，後再復”。另，康熙六十一年（1722年）胤祥之女指婚出嫁時，禮部尚書陳元龍等為該格格奏請頭銜，康熙帝批准為“固山格格”。清代王公子女的品級是隨父親的爵位定的，按《八旗通志初集》載：“貝子女固山格格，縣君。”固山貝子之女封為固山格格，說明其父胤祥應該是貝子。

        前面說過，胤祥在康熙四十七年（1708年）前，是備受皇帝喜愛之人，每有巡視，便讓其扈從，還曾經讓他獨自代表皇帝去參加祭拜泰山的活動等等，但自康熙四十七年（1708年）後，他幾乎就悄聲匿跡了。

        康熙五十年（1711年）後，在康熙帝出巡的扈從名單中不見了他那熟悉的名字。

        康熙五十一年（1712年）十一月，從皇三子胤祉到皇十四子胤禵都得到了康熙帝幾千兩銀子的賞賜，他分文未得。不僅扈從沒有，賞賜全無，而且連有關他的記載都幾乎成了空白。

        他淡出了人們的視野，究其原因，有的說是因為被康熙帝圈禁，失去了自由，無法參與各種活動；有的說是因為患上了嚴重的腿疾，不便行動，導致退出了一切活動。這兩點下面要細說，在此先按下不表。但不管什麼原因，他的被冷淡確是事實。不僅他的人生發生了轉折，而且這種境遇還影響到了他的老師法海，法海也因受牽連受到了降職處分，並被從皇子的師傅隊伍中開除了。法海的同僚徐元夢稱法海是“以侍皇子得過”。

人從低位走到高位易處，但從高位被拉到低位就難處了。胤祥生活的這種一落千丈的巨大變化，把他推入了困境。懊悔、反思、無奈、委屈，欲哭無淚，欲辯難言，他的挫敗感可想而知。