於鳳至不接受谷瑞玉主要有兩個原因。首先，谷瑞玉曾經成為土匪的小老婆，這段屈辱的歷史，於鳳至經常談起，她認為張學良就是納妾，也不能娶土匪小老婆。其次，張學良認識谷瑞玉後，開始在外面找女人，於鳳至認為是谷瑞玉帶壞了張學良。