Stával původně na skalnatém ostrohu vysoko nad řekou Vltavou a sloužil jako celnice (clo se vybíralo od plavidel a vorů). Zámek byl díky výborné poloze takřka nedobytný, přesto nebyl nikdy dlouhodobě využíván jako trvalé sídlo šlechtických rodů. V současnosti je díky Orlické přehradě hladina vody o 80 metrů výše a díky bílé fasádě se majestátně blyští v klidné hladině přehrady tak, že je v poledním žáru téměř oslňující. Přehrada nese jeho jméno.
Pod zámkem naleznete přístaviště výletních parníků.
