Nahaja se na zahodnem robu Radelj sredi lepega angleškega parka. Okoli leta 1700, po propadu starega gradu, so ga prezidali iz nekdanje grajske pristave v t.i. Spodnji grad. Dvorec je enonadstropna stavba v obliki črke L. Stavba je močno predelana, od prvotne arhitekture so ohranjene pritlične dvoriščne arkade na slopih v severnem traktu. Stropi dvorca so v pritličju obokani, v nadstropju pa imajo ravne strope. Pred 2. svetovno vojno so v stavbo dvorca vzidali portal dominikanskega samostana z domnevnim grbom Sigfrida Marenberškega in grbom priorice samostana Marije Ivane Linzer z letnico 1666. Notranjost dvorca krasi znana slika Ugrabitev Evrope.

Danes v Dvorcu Radlje deluje enota Koroškega pokrajinskega muzeja, Muzej Radlje ob Dravi, ki je bil ustanovljen leta 2012. Več informacij o muzejskih zbirkah, stalnih in občasnih razstavah na spletni strani www.kpm.si. Vljudno vabljeni v Muzej Radlje ob Dravi!