Huize Oranjestein is in dezelfde tijd als Het Lievendael in eclectische stijl opgetrokken, waarin tal van historische elementen zijn opgenomen. In het straatbeeld vervult het gebouw een prominente rol door zijn ligging gedeeltelijk aan de Drostestraat en gedeeltelijk aan de Hof. Huize Oranjestein werd gebouwd in opdracht van notaris Immink op de plaats van een ouder huis van de in 1881 overleden steenrijke huizen- en grootgrondbezitter Dirk Clasinus Johannis Harmsen.
De notaris heeft er nooit gewoond omdat hij plotseling overleed. Het pand werd kort bewoond door jonkheer Speelman, waarna het een hotel werd, daarna rusthuis. Nu zijn hier zes appartementen in gevestigd.