胤祥喜讀書，早年曾有詩句雲“分陰珍重攻文史，益信前賢蘊無窮。”（《奉和兄雍親王春園讀書元韻》），同時，他也喜藏書，震鈞《天咫偶聞》卷三曾載：“怡親王允祥府藏書之所曰樂善堂。大樓九楹，積書皆滿，乾隆中，四庫館開，天下藏書家皆進呈，惟怡府之書未進。其中世所罕見者甚多。”眾多的藏書成就了他的雜學，涵養了他的性情，也為後來他的輔佐事業，真正成為雍正朝的大總管奠定了堅實的基礎，同時，還為他的子女創造了良好的讀書學習環境，為後來其子弘曉喜歡文學，並抄錄《紅樓夢》埋下了種子，當然這是後話。

        允祥還精通鑑賞。雍正朝的文物都十分精美，以雋秀文雅，精細玲瓏之特點，受到收藏家的追捧，但大家可能不知或很少知，這與胤祥是分不開的。一來他當時分管內務府，各種文玩宮廷用品的構思、設計、燒制以及畫家、手藝人等都由他負責管理，這在檔案中有不少記載；二來，與他有較高的藝術鑑賞能力也分不開。他是個實幹家、操作家和鑑賞家。從當年《活計檔》中的記載看，胤祥有極高的鑑賞審美能力，他提的建議總是貼切實用，不僅能博得皇帝的喜歡，而且頗具藝術價值和工藝價值。這些雖然都是他被封為怡親王后的事，但其高超的鑑賞力和獨特的審美情趣，是與他早年受的教育和學習培養分不開的。