Kivipankki valmistui vuonna 1913 ja nimensä mukaisesti se toimi alunperin Jämsän Säästöpankin konttorina. Rakennuksen on suunnitellut arkkitehti Ilmari Launis ja sen julkisivun koristelun osalta apuna oli taiteilija Joseph Alanen. Rakennus tehtiin Jämsän harmaasta graniitista.
60-luvulla pankkitoiminta siirtyi Kivipankista uusiin tiloihin, jonka jälkeen tiloissa oli eri vuokralaisia. Vuonna 1993 rakennus saneerattiin kaupungin kulttuuritilaksi. Kivipankissa järjestettiin mm. näyttelyitä ja konsertteja. Vuosien saatossa Kivipankissa nähtiin näyttelyitä useilta eturivin taiteilijoita. 2024 kaupunki päätti luopua rakennuksesta ja näyttelytoiminta loppui 4.8.2024.
Nykyään galleriaa ylläpitää voittoa tavoittelematon Kivipankki ry. Yhdistyksen tavoitteena on jatkaa Galleria Kivipankin näyttelytoimintaa ja lisätä gallerian valtakunnallista tunnettuutta. Samalla yhdistys pyrkii tarjoamaan paikan jämsäläisten taideyhdistysten vuosinäyttelyille. Tiloja on myös mahdollista vuokrata muihin kulttuuritilaisuuksiin näyttelytoiminnan ehdoilla.