Tornet med sin klocka gav upphov till husets smeknamn ”Söderbergska kyrkan”. 1917 såldes huset till Fil Doktor Sven Carlsson. När han dog 1924 hyrde hans fru ut huset och det byggdes om till ålderdomshem. Efter ett par år satte hon stopp för denna verksamhet då hon såg att huset höll på att förfalla. Mellan 1926-1939 etablerade fru Carlsson ett välrenommerat pensionat. Efter andra världskrigets utbrott blev uppvärmningskostnaderna för höga och pensionatet tvingades stänga 1939.

Huset köptes av en grupp villaspekulanter som planerade att stycka upp den stora tomten. Den vackra byggnaden blev stående övergiven under många år och blev offer för vandalism och förfall. En kvinnlig ägare renoverade sedan huset och öppnade ett privat hospital. Detta stängdes tio år senare av hälsovårdsmyndigheterna bl a på grund av den låga hygieniska standarden. Därefter passerade ett flertal ägare revy, såväl föreningar som privatpersoner. 1967 köptes huset av pingstvännerna, vilka genomförde stora reparationer och räddade huset från förfall.

1981 bytte Levi Petrusstiftelsen till sig huset och drev ett behandlingshem för missbrukande kvinnor. De hade det i sin ägo fram till 1989 då det köptes av Svenska SGI. Efter omfattande renoveringsarbeten invigdes Kulturcentret den 3 juni 1989. Idag används Villa Baggås för möten, gemensamma meditationer, föredrag och utställningar. Målsättningen är att utöka denna verksamhet och därigenom göra huset mer tillgängligt för bl.a saltsjöbadsborna. På begäran visas huset för föreningar och större grupper.

1997 installerades bergvärme för att sänka uppvärmnings-kostnaderna och samtidigt värna om miljön.
(Istället för sex tankbilar om året kommer det nu bara en) Efter att ha stått stilla i över ett halvt sekel är nu både klockans urverk och slagverk reparerat och en vacker klang hörs från klocktornet varje halvtimme kl 07.00 - 23.00.

‍