胤祥喜读书,早年曾有诗句云“分阴珍重攻文史,益信前贤蕴无穷。”(《奉和兄雍亲王春园读书元韵》),同时,他也喜藏书,震钧《天咫偶闻》卷三曾载:“怡亲王允祥府藏书之所曰乐善堂。大楼九楹,积书皆满,乾隆中,四库馆开,天下藏书家皆进呈,惟怡府之书未进。其中世所罕见者甚多。”众多的藏书成就了他的杂学,涵养了他的性情,也为后来他的辅佐事业,真正成为雍正朝的大总管奠定了坚实的基础,同时,还为他的子女创造了良好的读书学习环境,为后来其子弘晓喜欢文学,并抄录《红楼梦》埋下了种子,当然这是后话。
允祥还精通鉴赏。雍正朝的文物都十分精美,以隽秀文雅,精细玲珑之特点,受到收藏家的追捧,但大家可能不知或很少知,这与胤祥是分不开的。一来他当时分管内务府,各种文玩宫廷用品的构思、设计、烧制以及画家、手艺人等都由他负责管理,这在档案中有不少记载;二来,与他有较高的艺术鉴赏能力也分不开。他是个实干家、操作家和鉴赏家。从当年《活计档》中的记载看,胤祥有极高的鉴赏审美能力,他提的建议总是贴切实用,不仅能博得皇帝的喜欢,而且颇具艺术价值和工艺价值。这些虽然都是他被封为怡亲王后的事,但其高超的鉴赏力和独特的审美情趣,是与他早年受的教育和学习培养分不开的。