Landgoed Loenen heeft een bewogen geschiedenis achter de rug. Vanaf de 14e eeuw hebben diverse eigenaren al dan niet met hun eigen familie het landgoed bewoond. Na meerdere verwoestingen in verschillende oorlogen en kruiend ijs op de Waal is vanaf 1825 het huidige landgoed Loenen ontstaan.
In 1756 kreeg Willem Otto Frederik graaf von Quadt van Wickeradt beide heerlijkheden in bezit. Het kasteel werd door de familie als jachthuis gebruikt. In 1820 raakte het kasteel opnieuw zwaar beschadigd door een overstroming. Vijf jaar later werd de ruïne afgebroken en werd er op de fundamenten een nieuw gebouw neergezet, bestaande uit het middenstuk met drie raamtraveeën en een driehoekig fronton, en twee verdiepingloze zijvleugels. In 1834 werden de zijvleugels van een extra verdieping voorzien en werd tevens aan de noordzijde een toren toegevoegd.
Een nazaat van de Von Quadt’s verkocht Loenen en Wolferen in 1834 aan jonkheer J.C.W. Fabricius van Leyenburg. Na vererving kwamen Loenen en Wolferen in bezit van het geslacht Van Boetzelaer.
