Az 1721-re elkészült kastélyt a „magyarul szép tehetséggel verselő” Podmaniczky János építtette. A földesúr lakhelyének bővítése 1767 és 1772 között zajlott, amikor Jung József az apjuk szellemi örökségét továbbvivő, később báróságra emelt Podmaniczky testvérek, Sándor és ifjabb János részére lakosztályul egy-egy, emeletes oldalszárnyat épített. 

A két szárnyat manzárdtetős, pavilonszerű szakasz zárja le. A bal oldali Sándor-szárny szegmentíves ablakai barokkrokokó jelleget mutatnak, míg a János-szárny egyenes vonalú, síkban tartott részletformái későbarokk, klasszicizáló szellemiségről tanúskodnak. Ma csak a Sándor-szárny dísztermében látható festménydísz. A kereszténységnek a pogányság feletti győzelmét ábrázoló barokk szellemiségű mennyezetképét és az oldalfalak copf jellegű, klasszicizáló dísztését, a fülkékben, talapzaton álló szobrokat utánzó freskókat az egyik festett váza alatt lévő szignatúra és évszám alapján az Egerben letelepedett bécsi mester, Kracker János Lukács és veje, Zach János készítette 1776-ban.

A Sándorszárnyhoz a 18. század végén, a 19. század elején újabb, építészetileg önálló kastélyépületet csatoltak. Ez a hagyomány szerint úgy keletkezett, hogy midőn egyszer a két Podmaniczky testvér összeveszett, az egyik, hogy fivérét bosszantsa, közvetlenül a régi mellett, de külön bejárattal építtette fel maga kastélyát. Alaprajzi sajátosságai, helyiségbeosztása, amelyben a geográfiai adottságok és az építtetők elvárásai kaptak építészeti formát, egyedi megjelenést kölcsönöz a kastélyegyüttesnek. Az igényes kialakítás legnagyszerűbb összetevője az egyik díszterem kifestése, amely az oldalfalak ábrázolását tekintve a klasszicista festészet egyik legkorábbi hazai emléke.