Talon rakennustyöt aloitettiin helmikuussa 1955. Talo rakennettiin suurelta osin talkootyönä: yhteensä 5.000 ammattimiestä tuli vapaaehtoisesti rakentamaan taloa ja heidän panoksensa - 500.000 työtuntia - vastasi kolmasosaa koko urakasta. Talo valmistui vuonna 1957. Vuonna 1959 tehtiin akateemikko Wäinö Aaltosen kanssa sopimus "Rakentajan käsi"-nimisen veistoksen valmistamisesta keskipihan suihkualtaan keskelle. Patsaan julkistamistilaisuus oli toukokuussa 1960. Pari vuotta myöhemmin Suomen suurin mosaiikkityö, Tapio Tapiovaaran Kalevala-aiheinen "Päivän päästö" tuotiin Kulttuuritalon tiloihin. Paljastustilaisuus oli helmikuussa 1963. Talon kulttuuritoimintaa ylläpiti Kulttuurityö ry 1990-luvulle asti, jolloin talo sai oman toimitusjohtajansa. Puolueen konkurssin seurauksena Kulttuuritalo siirtyi Arsenalin (Siltapankki) omaisuudeksi 1992.