Gelegen binnen een grote beboomde tuin ten oosten van de in dezelfde periode opgerichte Sint-Jan-Baptistkerk of Ruiterskerk (in 1886 erkend als zelfstandige parochie). Kerk en pastorie kwamen tot stand onder impuls van onderpastoor A. Rubbens van Waasmunster centrum, in 1876 aangesteld tot proost van de noodkerk te Ruiter en later pastoor van de Ruitersparochie. Grond en financiële middelen voor de bouw afkomstig van de familie Vermeulen, grote weldoeners in de gemeente. Bewaarde plannen van 1876 voor de neogotische pastorie, evenals de kerk toegeschreven aan ingenieur-architect Arthur Verhaegen uit Gent. De bouw van de pastorie vond plaats in 1877 (in 1879 gekadastreerd). De kwalitatieve architectuur van de pastorie, representatief voor de “rijpe neogotiek”, de bewaarde ontwerptekeningen met initialen AV, en de stilistische vergelijking met onder meer de huizen en conventen van het in 1873 door A. Verhaegen gerealiseerde Groot Begijnhof van Sint-Amandsberg laten weinig twijfel bestaan om het ontwerp toe te schrijven aan ingenieur-architect Arthur Verhaegen (Brussel, 1847-1917). Als volgeling en medewerker van Bethune, medestichter van de Sint-Lucasscholen en de Gilde van Sint-Thomas en Sint-Lucas, dé promotor van de neogotiek in België, werd Verhaegen een neogotisch architect. Slecht een 25- tal architecturale projecten zijn door zijn voorlopige oeuvrecatalogus gekend waarvan het Groot Begijnhof te Sint-Amandsberg, het Poortakkerbegijnhof aan de Oude Houtlei in Gent en het Sint-Barbaraweeshuis te Wetteren in Oost-Vlaanderen de belangrijkste zijn, tevens als monument beschermd.

Samen met de kerk en het kerkhof werd de pastorie van Ruiter door Alfred G. Vermeulen op 18 maart 1887 geschonken aan de in 1886 opgerichte kerkfabriek van Ruiter. Aanbouw in 1981 van een garage rechts van de woning waardoor de oorspronkelijke verhoudingen enigszins verstoord werden. Tot 1994 werd de pastorie bewoond door de pastoor, sindsdien een huurhuis met uitzondering van twee kamers vooraan door de kerkfabriek in gebruik als vergaderruimte en ontvangstplaats.

Toen de kerk werd gebouwd werd aan de bewoners van de parochie gevraagd bij te dragen aan de kosten voor het uurwerk in de kerktoren.  Bewonders in een bepaalde richting van de kerk besloten geen financiële bijdrage te leveren en dus werd besloten in die richting geen wijzerplaat te plaatsen.