Het kasteel en heerlijkheid Loinen vielen onder de graaf van Kleef. Johan van Bloemendaal had zowel Loenen als Wolferen in leen, en in 1365 kwamen ze in handen van Otto van Bylandt. In 1410 kreeg zijn schoonzoon Barthold van Gent de heerlijkheid Wolferen – die eveneens onder Kleef viel – in leen, terwijl zijn echtgenote Margriet met Loenen werd beleend. In 1483 werd hun kleinzoon Barthold met Wolferen en Loenen beleend.
Het oudste slot Loenen zou al in 1365 zijn verdwenen; over dit kasteel is verder niets bekend. Het tweede middeleeuwse kasteel – dat werd beschouwd als het sterkste slot van de Betuwe -bestond uit een omgrachte, vierkante toren met diverse woonvleugels. Dit kasteel is later afgebeeld op diverse kaarten en prenten. In 1585 namen de troepen van de hertog van Parma het kasteel in en vermoordden de volledige bezetting. In 1644 raakte het kasteel ernstig beschadigd door kruiend ijs dat na een dijkdoorbraak tot bij het kasteel was gekomen. Onder andere de toren stortte hierbij in.
Bron: Wikipedia