胤祥生母章佳氏於康熙三十八年（1699年）病逝，那年，胤祥才14歲，兩個小公主一個13歲，一個9歲。因康熙帝寵愛章佳氏，其病逝後，便把這種愛自然而然的轉移到了胤祥身上。為了能讓他儘快撫平喪母之痛，並得到健康的成長，康熙帝採取了兩項措施：

        一是由德妃代為撫養。父皇康熙把他送到德妃處，由德妃看護撫養，而德妃正是後來做了皇帝的雍正的生母。這無形中拉近了胤祥與雍正的關係，天意安排般地為以後的騰達埋下了伏筆，可謂因禍得福。

        二是命雍正教其算學。在德妃處二人“晨夕相處，”感情甚篤。稍長，雍正還奉命教胤祥算學。如遇塞外扈從，兩人也是“形影相依”。後來就是當胤祥因故不能扈從時，兩人便通過詩詞唱和，交流感情。雍正後來在給胤祥的詩所作的序中說：“昔年，兄弟聚首時，宴集唱和，王每以所作就正於朕，朕扈從塞垣，王亦間有寄懷之句”。這些從現存的胤祥詩中就可見，如，《奉懷兄雍親王隨駕熱河避暑四首》、《泛舟呈兄雍親王二首》、《圓明園燕集呈兄雍親王四首》、《奉和兄雍親王二首》、《奉和兄雍親王暮春元韻》、《奉和兄雍親王春園讀書元韻》、《奉和兄雍親王山居偶成元韻》、《奉和雍親王早起寄都中諸弟兄韻》、《恭祝兄雍親王壽》等，在胤祥保存下來的32首詩中，與雍正唱和的就占了一大半。如果沒有這段親密無間的接觸，沒有雍正對其這位十三弟的深入了解，就不可能有後來允祥晚年的發達與輝煌。