A németajkú Héder fivérek II. Gézától kaptak hatalmas területet a Mosoni-Duna vidékén. A környékbeli jobbágyfalvakat összefogó váruradalmuk központját a napjainkban Zsidó-dombnak nevezett kisebb magaslaton emelték, aminek az első okleveles említése 1314-ből maradt fenn. Nevezetes vitézi tettet hajtott végre Dezső nevű családtagjuk, amikor Károly Róbert havasalföldi hadjárata során, felöltve az uralkodó ruháját, elősegítette annak megmenekülését, míg maga hősi halált halt.
A 16. század elején a török hadszínterektől viszonylag távoli, békésebb tájon élő Hédervári István egy akkoriban divatos reneszánsz várkastélyt emeltetett a rideg, - lakásnak már kényelmetlenné váló - középkori vár közelében. A mohácsi csata utáni belháborús időszakban Ferdinánd király híve, Bakics Pál szállta meg az ellenpárti Héderváriak uradalmát, ahol elrejtett kincsek után kutatva, földig bonttatta el a várat és a várkastélyt.
Az 1534 után kegyelmet kapó Héderváriak visszatértek ősi földjükre, ahol az elpusztított várkastély helyén újabb rezidenciát létesítettek. A régészeti kutatások szerint korai formájában egy négyzetes alaprajzú, sarkán háromemeletes toronnyal tagolt építmény lehetett, belső, zárt udvarán L alakú palotaszárnnyal. Külső védelmét a közeli patak vizével feltöltött vizesárok látta el, melyen felvonóhíd ívelt át. A következő évszázadokban fokozatosan bővítették, a folyamatos fejlődést az is elősegítette, hogy az ellenséges seregek szerencsére ritkán keresték fel.
Miután a Héderváriak 1658-ban férfiágon kihaltak, a kastély oldalági öröklés révén a Viczay nemesi família tulajdonába került át, akik kialakították a napjainkban is látható formáját. A 18. század végén már országos hírűvé váltak vaskos falai között őrzött gyűjteményei: az érmék, fegyverek és régiségek tárházai. A békésebb idők elérkezésével külső védőműveit fokozatosan lebontották, egykori gazdasági udvarán angolparkot alakítottak ki. 1944-ben a földesúri család elmenekült belőle, helyüket a szovjet csapatok foglalták el, akik komoly károkat okoztak.
Sorsában javulást csak az 1990-es esztendők hoztak, amikor magántulajdonba kerülve méltóképpen helyreállították, hogy napjainkban falai között kastélyszálló fogadhassa a pihenésre vágyó nagyközönséget.
