梁思成的學生也是他後來的妻子林洙曾在懷念金岳霖的文集裡披露過一個故事，說的就是當時梁思成和林徽因住在總布胡同時，金岳霖與他們住前後院，金岳霖住在另有旁門出入的後院。

　　1931年，梁思成從外地回來，林徽因很沮喪的告訴他：“我苦惱極了，因為我同時愛上了兩個人，不知道怎麼辦才好?”這應該是林徽因這個女人獨特的聰明之處，遇到問題時，從來不是自己一個人去解決，讓你拋給願意幫她解決的人。

　　梁思成第二天告訴林徽音，“你是自由的，如果你選擇了老金，我祝願你們永遠幸福。”林徽因後來又將這些話轉述給了金岳霖，金岳霖回答，“看來思成是真正愛你的，我不能傷害一個真正愛你的人，我應該退出。”於是從此三人終身為友。

　　總覺得金岳霖對林徽音的感情要比梁思成來得深厚得多，有人說金岳霖才是真正懂得愛情的人，他對林徽因的痴戀讓“三洲人士共驚聞”。這位老先生一生的感情確實從來都沒離開過林徽因。五十年代後期，林徽音已經去世，梁思成也已經另娶了他的學生林洙。金岳霖有一天卻突然把老朋友都請到北京飯店，沒講任何理由，讓收到通知的老朋友都納悶。飯吃到一半時，金岳霖站起來說，今天是林徽因的生日。聞聽此言，有些老朋友望着這位終身不娶的老先生，偷偷地掉了眼淚。