胤祥生母章佳氏于康熙三十八年(1699年)病逝,那年,胤祥才14岁,两个小公主一个13岁,一个9岁。因康熙帝宠爱章佳氏,其病逝后,便把这种爱自然而然的转移到了胤祥身上。为了能让他尽快抚平丧母之痛,并得到健康的成长,康熙帝采取了两项措施:
一是由德妃代为抚养。父皇康熙把他送到德妃处,由德妃看护抚养,而德妃正是后来做了皇帝的雍正的生母。这无形中拉近了胤祥与雍正的关系,天意安排般地为以后的腾达埋下了伏笔,可谓因祸得福。
二是命雍正教其算学。在德妃处二人“晨夕相处,”感情甚笃。稍长,雍正还奉命教胤祥算学。如遇塞外扈从,两人也是“形影相依”。后来就是当胤祥因故不能扈从时,两人便通过诗词唱和,交流感情。雍正后来在给胤祥的诗所作的序中说:“昔年,兄弟聚首时,宴集唱和,王每以所作就正于朕,朕扈从塞垣,王亦间有寄怀之句”。这些从现存的胤祥诗中就可见,如,《奉怀兄雍亲王随驾热河避暑四首》、《泛舟呈兄雍亲王二首》、《圆明园燕集呈兄雍亲王四首》、《奉和兄雍亲王二首》、《奉和兄雍亲王暮春元韵》、《奉和兄雍亲王春园读书元韵》、《奉和兄雍亲王山居偶成元韵》、《奉和雍亲王早起寄都中诸弟兄韵》、《恭祝兄雍亲王寿》等,在胤祥保存下来的32首诗中,与雍正唱和的就占了一大半。如果没有这段亲密无间的接触,没有雍正对其这位十三弟的深入了解,就不可能有后来允祥晚年的发达与辉煌。