De kasteelsite aan de noordrand van de Durmevallei gaat wellicht terug op een aanvankelijk verblijf van de heren van Sombeke. De heerlijkheid Sombeke behoorde met een deel van Waasmunster tot de heerlijkheid Beveren. De vroegst bekende heren die met de heerlijkheid Sombeke in verband kunnen worden gebracht worden in de 15de eeuw vermeld (in 1448). Mogelijke oudere meldingen van Sombeke en archeologische bevindingen leidden tot de hypothese dat de ontstaansgeschiedenis van de omgrachte kasteelsite mogelijk opklimt tot het einde van de 12de eeuw. Uit de 16de en 17de eeuw zijn namen van meerdere nieuwe heren van Sombeke overgeleverd. In een denombrement van 1631 wordt de heer van Sombeke tevens als eigenaar van de benedendries genoemd. Na verkoop van de heerlijkheid aan H. de Mayer, heer van Boekhout in 1640, in 1696 doorverkocht aan Jacobus Laureyns († 1717). Hij zou het kasteel dat in de 17de eeuw in ruïne was hebben vernieuwd in de periode 1696-1716 (jaar dat zijn dochter huwde met Anton François Joseph de Castro y Toledo. Zij namen hun intrek in het kasteel. In 1727 werd Anton François Joseph de Castro y Toledo heer van Sombeke. Na de familie de Castro y Toledo werd het kasteel in de eerste helft van de 19de eeuw het zomerverblijf van baron de Beelen van Puyvelde; in de 2de helft van de 19de eeuw eigendom van Honoré Limpens. In de 20ste eeuw gingen de families Wauquez en Regout nog aan de huidige eigenaar vooraf. Met de wisselende eigenaars onderging het 18de-eeuwse kasteel zeker ook herhaaldelijk transformaties, laatst bij de renovatiewerken die in 1984 aanvingen. In een eerste fase omvatte de site met walgracht een enkelvoudige vierkante omgrachte woonzone. Voorlopig geen gegevens voorhanden die duidelijkheid scheppen over de constructieve en mogelijke defensieve aard van het middeleeuwse herenverblijf. In 1631-32 was het kasteel vervallen; het onbebouwde wooneiland op een figuratieve kaart van 1641/1689 bevestigt deze toestand. Een figuratieve kaart van 1726 door landmeter F. Van Goethem geeft een beeld van het in de periode 1696-1716 heropgebouwde kasteel en toont aan dat de site geëvolueerd is naar een tweeledige vorm bestaande uit een opperhof met voorhof binnen een dubbele omgrachting. Het patroon van de tweede omgrachting is later nog enigszins gewijzigd.

Poortgebouw met aanpalende aanhorigheden, vermoedelijk voormalige kasteelhoeve, met koetshuis en stallingen van het kasteel van Sombeke, nu met een gerenoveerde conciërgewoning (nummer 22) en woonhuis (nummer 18). Parallel aan de straat ingeplante langwerpige constructie van één bouwlaag onder het doorlopende pannen zadeldak, uit de 18de eeuw (volgens cartografische bronnen opgetrokken tussen 1726 en 1778). Het poortgebouw is aangegeven op de Ferrariskaart (1771-1778) en ook voorgesteld op de kaart van Sombeke van 1785. Bij de restauratiewerken van de jaren 1980 zijn de twee rechter traveeën waaronder het poortgebouw, herbouwd met hergebruik van materiaal. De lange verankerde bakstenen voorgevel op gepikte plint is afgelijnd door een geprofileerde bepleisterde daklijst, onderbroken door de hoger opgaande korfboogpoort; de driehoekige frontonbekroning vertoont een grote gevelsteen met het wapenschild van Anton Frans Joseph de Castro y Toledo (heer van Sombeke van 1726 tot 1787). De conciërgewoning is aan de straatzijde geopend door een lage deur, twee bolkozijnen en een vernieuwd kruiskozijn. De licht gebogen muuropeningen van het linkse woonhuis (nummer 18) lijken later aangebracht. Bij de renovatie gewijzigde en toegevoegde dakkapellen. In de tuingevel is meer zandsteen verwerkt onder meer in de plint en rond beide hoge huisdeuren terwijl de lage rechthoekige vensters met pleisterwerk omlijst zijn. Nummer 22 vertoont ook zes korfboogvormige koetspoorten met sluitsteen en bogen aanzettend op imposten.

In de as van het poortgebouw verleent een gemetste bakstenen boogbrug over brede walgracht toegang tot het rechthoekige wooneiland met kasteel (nummer 20). De ijzeren brugleuningen eindigen op postamenten waarvan twee met beeld van heraldische leeuw voorzien van wapenschild van Honoré Limpens-Schuermans. De huidige brede rechthoekige grondvorm bezit het kasteel wellicht al van in de 18de eeuw, toch is duidelijk dat het bouwvolume na 1726 vergroot is en van uitzicht veranderde. Op de kaart van 1726 werd het kasteel weergegeven als een rechthoekig bouwvolume onder één zadeldak met nok haaks op de voorgevel, een topgevel midden voorzien van een hoger opgaande toren. De kaart van Sombeke van 1785 toont een kasteelaanleg in U-vorm onder drie zadeldaken, met gelijkaardige toren midden in de voorbouw in de as van de toegangsbrug. Voorts was er toen op het wooneiland nog een losstaand gebouw ten oosten achter het kasteel. Op het primitief kadasterplan van Waasmunster van 1828 komt deze constructie niet meer voor en vertoont het kasteel een rechthoekig grondplan. Nog volgens het kadasterarchief werd het kasteel onder eigenaar H. Limpens-Schuermans in 1888 aan de achterzijde met een uitbouw uitgebreid, vermoedelijk van de veranda die bij de renovatie werd vervangen. Tot in het derde kwart van de 20ste eeuw bezat het kasteel een neoclassicistische bepleistering en een hoge afgeknotte torenspits (volgens oude prentkaarten met zinken dakbekleding). Bij de renovatiewerken die in 1984 startten werd het toenmalige buitenaanzicht van de ontpleisterde bakstenen gevels in grote mate gerespecteerd.

Het wapenschild boven de poort is dat van de familie De Castro y Toledo, die ook het Castrohof in Sint-Niklaas in bezit hadden.