從前邊的敘述我們可以看出，胤祥的前22年開局不錯，在父皇的寵愛栽培下，再加上他個人的稟賦與努力，前程無可限量，但天有不測風雲，一場沒料到的災禍，使他的人生發生了遽變。
皇家歷來是風雲變幻之地，尤其在皇位的爭奪上表現的更加血腥慘烈，勝負難料，康熙朝也不例外，圍繞着皇太子之位的爭奪一刻也未停歇，為能坐上這個位置，眾皇子暗地裡結黨營私，朝野文武大臣也多各附一黨，呈現出了多派勢力縱橫捭闔，明爭暗鬥的複雜局面。當時勢力最強的要數皇八子胤禩派，從者眾多，呼聲最高，鋒芒外露，而皇四子胤禛（也就是後來的雍正皇帝）則韜光養晦，以“富貴閒人”自居，表面上不露聲色，背地裡卻一刻也沒有放棄對儲位的覬覦與追逐，暗中都在積蓄着力量，並等待着出手的時機。皇八子胤禩有才幹，人望好，再加上多年經營，皇子多投靠依附於他。相比之下，皇四子胤禛則顯得勢孤力單，連同袍兄弟胤禵都不站在他這一邊，而是先依附於皇八子胤禩，待自視實力強大後，又自立門戶爭奪皇位，成為胞兄胤禛的死對頭。在這種複雜的爭鬥局面下，十三子胤祥到底是怎麼想的？參與了什麼活動？其立場如何？史料都未給予明顯記載，或說語焉不詳，但不管是有意無意，不管是主動還是被動，他都捲入到了這場複雜激烈的黨爭漩渦中，並從此人生發生了巨大的轉折，由早期的金色時光跌入到了黯然的泥沼！
康熙四十七年（1708年）九月，康熙帝以“不法祖德，不尊祖訓，惟肆惡虐眾，暴戾”等罪名，將皇太子胤礽廢黜圈禁，並牽連眾多皇子，胤祥亦在其中。蕭奭《永憲錄》記：“胤祥戊子九月以舊東宮事波及，亦削貝子，後再復。”雍正後來也說過：“怡親王前因二阿哥之事無辜牽連，一時得罪皇考，隨即鑒宥。”雖然，關於這件事的記載不夠詳實，但有兩點可以肯定：1. 胤祥確實在廢太子事件中受到了波及，並遭到了懲罰；2. 但後來又得到了皇帝的原諒。
