Karol urodził się na zamku Arona 3 października 1538 r. jako syn arystokratycznego rodu, spokrewnionego z rodem Medici. Ojciec Karola wyróżniał się prawością charakteru, głęboką religijnością i miłosierdziem dla ubogich. To miłosierdzie będzie dla Karola, nawet już jako kardynała, ideałem życia chrześcijańskiego.