In het Drostehuis woonde de Drost die tezamen met schout en schepenen het bestuur van het Gerecht vormde. Het Drostehuis werd in 1675 gebouwd, misschien op de fundamenten van een voormalige kapel, daar zijn echter nooit bewijzen van gevonden. De kelder heeft nog 15de eeuwse kenmerken en werd als kerker gebruikt. In 1773 kwam Evert Post met zijn vrouw Maria Johanna en drie dochters in Amerongen wonen. Een van die dochters was Elisabeth Maria (1755-1812), die enkele jaren later een bekend schrijfster zou worden. Zij schreef : ‘Het land, in brieven’ (1788). Op 31 december 1774 werd Evert Post door de heer van Amerongen, Frederik Christiaan Reinhart, baron van Reede, graaf van Athlone benoemd tot Drost. In de jaren 1960 zijn achter het huis enkele graven gevonden die zouden kunnen wijzen op de aanwezigheid van een kapel. Het pand is opgetrokken in sobere classicistische stijl. Het voorhuis bestaat uit een bouwlaag met omgaande kroonlijst en een hoog schilddak met dakkapellen.
In 1994 is er een grote restauratie geweest, waarbij 90% van het monument in oorspronkelijke staat is gebleven en veel oude materialen zijn herbruikt.