De woningen zijn als armenhuisjes aan het eind van de zeventiende eeuw gebouwd door kasteelvrouwe Margaretha Turnor. In haar testament van 1692 liet zij een bedrag van tweeduizend pond na aan de bewoners. De huisjes staan op de inventarislijst van kasteelgoederen uit 1721 vermeld als de ‘drie kleyne huisjes, staande en gelegen achter de kerk, naast de pastorie’. Ze bleven in het bezit van het kasteel tot 1853 toen de rentmeester D.C.J. Harmsen eigenaar werd. In 1963 zijn de panden 9-11 gekocht en gerestaureerd door K.F.O. James, oud-burgemeester van Gouda. Hij liet in de bovenlichten emblemen aanbrengen die betrekking hebben op Napoleon, omdat in de woningen, volgens de plaatselijke overlevering, in de Franse tijd militairen waren ingekwartierd. De huisjes staan daarom bekend als de ‘Napoleonhuisjes’.