清盛の娘であり、安徳帝の母である、建礼門院徳子が最後に過ごしたのが、寂光院である。壇ノ浦の戦いの敗戦のおり、海中に身を投げたが、源氏方の兵士に熊手によって引き上げられ、死ぬこともできずに、囚われの身となった。壇ノ浦戦から都に帰った女院は、藤原隆房に嫁いだ妹の登子の世話になり、出家剃髪をなさった。洛東の吉田村から、後に大原の山奥の寂光院に移る時は、峠から都を振り返り、もはや再びこの世に戻ることはないと思い、声を上げて泣いて涙を流したという。
　寂しい日々のなかに、我が子、安徳帝と亡くなった平家一門の菩提を弔い、六年ほど後に三十七年の波乱の生涯を閉た。
今の寂光院は、そのさびしさを忘れさすほど、手入れの行き届いた落ち着いたお寺になっている。