Da Karolines mor ble syk tok hun Karoline med seg til Bergen til sine foreldre (tyske). Der døde moren og Karoline ble fostret opp hos sin tante og onkel (tyske) og besteforeldre. Hun var venninne med Suzannah Daae Thoresen (senere Ibsen).  

Karolines stesøsken, halvsøsken og eneste helbror vokste opp på Hasseløy i Haugesund. Midt inni mellom alle de nye boligene på sydenden av Hasseløy ligger et hus i gammel stil, kalt Reimershuset. Det ble omfattende renovert for noen år siden.

Karoline Reimers var bare 18 år gammel da hun giftet seg med Bjørnstjerne Bjørnson. Gjennom hele ekteskapet hjalp hun sin mann, hun renskrev manuskriptene hans og var modell for flere av hans kvinnelige roller. Susannah Ibsen var en av Karoline Bjørnsons beste venninner. De to avtalte en gang at hvis en av dem fikk en datter og en av dem en sønn, skulle de sørge for at de to giftet seg. Og slik ble det: Da datteren Bergljot Bjørnson ble voksen, giftet hun seg med Sigurd Ibsen.