Dit schitterende herenhuis bezield door de Vlaamse Neorenaissance werd in 1905 ontworpen door Adolphe Pirenne op vraag van de familie Colson. De architect kiest voor een vernieuwende indeling van de binnenplaatsen, en doet hiermee afstand van de traditionele drie plaatsen na elkaar van de Brusselse huizen uit die periode. Oorspronkelijk was het een veel kleinere villa dan deze die we nu kennen. Het gebouw werd in 1927 opgekocht door de apotheker en industrieel Eugène Pelgrims die beroep deed op de diensten van architect Fernand Petit om het huis te vergroten en er bepaalde wijzigingen in door te voeren, met eerbiediging van de oorspronkelijke eclectische stijl. Hierdoor gaan in het Pelgrimshuis meerdere tijdperken zij aan zij: het Romantisme (bvb. de tuin), de Neorenaissance (bvb. eetkamer, grote zitplaats en kamers), de Vlaamse Renaissance (bvb. de gevel) en de Art Deco (bvb. de wintertuin getooid met een fontein).

Het is in 1963 dat de Gemeenteraad van Sint-Gillis, voorgezeten door Burgemeester Jacques Franck, beslist deze verrukkelijke woning, met haar bijgebouwen in verval, aan te kopen voor openbaar nut. Bij zijn aankoop vereiste het herenhuis grote restauraties: het park was braakliggend en de stallen in puin. Sint-Gillis financiert, in 1969, de inrichting van de nieuwe gemeente-eigendom, hierbij lettend op het bewaren van de oorspronkelijke aanblik. Het Pelgrimshuis werd in 2001 geklasseerd omwille van de originaliteit van zijn materialen en zijn opbouw.

Het huis heeft verschillende functies gehad. Na verschillende vzw’s en het Schepenschap van Jeugd en Sport te hebben gehuisvest op de eerste verdieping, werd deze sinds 1992 ingericht als tentoonstellingsruimte. De tweede verdieping van het gebouw biedt sinds 2000 onderdak aan de kantoren van de Dienst Cultuur (lien vers…) van de Gemeente Sint-Gillis.

De tuin die het gebouw omgeeft, het Pierre Pauluspark – genoemd naar de kunstschilder en etser die de eerste voorzitter was van de Kunstgroep van Sint-Gillis – dat vroeger de private tuin was van de familie Pelgrims, wordt een openbaar park in 1969, werd ingericht vanaf 1972 en is als landschap geklasseerd in 1997. Het werd opgevat in de geest van de landschapsparken op zijn Engels.

Het gelijkvloers en de eerste verdieping van het Pelgrimshuis werden gewijd aan de kunst en de schepping onder al haar vormen: plastische, muzikale of litteraire.

Het Pelgrimshuis biedt onderdak aan verschillende gebeurtenissen, gevarieerde tentoonstellingen (schilderkunst, fotografie, beeldhouwkunst) en ook, bij gelegenheid, aan kleine concerten of conferenties.

Het Pelgrimshuis is een levendige plaats geworden, bestemd voor een hedendaags publiek. Zijn deuren staan open voor iedereen die geïnteresseerd is in cultuur en kunst. Het biedt aan kunstenaars de gelegenheid om hun ontwerp te ontwikkelen met een passende steun. Het Pelgrimshuis, dat meer is dan een onthaalruimte voor cultuur, doet zich in de eerste plaats voor als het “Huis van de Kunstenaars”, een plaats opgedragen aan de artistieke schepping onder al haar vormen. Door individuele initiatieven aan te moedigen heeft het Pelgrimshuis aldus de collectieve dynamiek aangewakkerd.