Kazimierz urodził się 3 października 1458 r. w Krakowie na Wawelu. Był drugim z kolei spośród sześciu synów Kazimierza Jagiellończyka. Jego matką była Elżbieta, córka cesarza Niemiec, Albrechta II. Pod jej opieką Kazimierz pozostawał do dziewiątego roku życia. W 1467 r. król powołał na pierwszego wychowawcę i nauczyciela swoich synów księdza Jana Długosza, kanonika krakowskiego, który aż do XIX w. był najwybitniejszym historykiem Polski. „Był młodzieńcem szlachetnym, rzadkich zdolności i godnego pamięci rozumu” – zapisał Długosz o Kazimierzu. W 1475 r. do grona nauczycieli synów królewskich dołączył znany humanista, Kallimach (Filip Buonacorsi). Król bowiem chciał, by jego synowie otrzymali wszechstronne wykształcenie. Ochmistrz królewski zaprawiał ich również w sztuce wojennej.