Han var einebarn av Arne og Hulda Garborg. Barndomen hans er mykje omtala i foreldras dagbøker, brev og avisartiklar. Han var oppkalla etter faren og etter «Noregs første sosialist», Olaus Fjørtoft.
Arne O. Garborg tok over barndomsheimen Labråten i Hvalstaddalen i Asker kommune, der han budde saman med kone og barn. Huset er i dag museum. Her heng Gustav Wentzel sitt måleri Tuften på ski.