Sorgenfri byla preferovaná letní rezidence krále Kristiána X. a jeho manželky královny Alexandriny. Narodily se zde jejich děti princ Frederik a jeho bratr Knud. Knud i jeho manželka Caroline-Mathilde žili v paláci Sorgenfri až do jejich smrti v letech 1976 a 1995. Dnes je palác uzavřen pro veřejnost, ale palácové zahrady jsou přístupné, když panovník není v rezidenci. V křídle paláce žila až do své smrti hraběnka Anne-Dorte, vdova hraběte Christiana z Rosenborgu (mladšího syna knížete Knuda).
