Narodil se v roce 1911 v Čimelicích na Písecku jako syn Karla V. Schwarzenberga a hraběnky Eleonory Clam-Gallasové. Orličtí Schwarzenbergové se během 19. století počeštili, jejich domácí řečí se stala  čeština a tak jsou právem považováni za českou šlechtu.

Od mládí se hodně zajímal o historii a jeho zájem jistě prohloubilo setkání s jedním z nejlepších českých historiků všech dob Josefem Pekařem na konci dvacátých let na zámku v Chlumci nad Cidlinou, kde žil jeho otčím Zdenko Radslav Kinský. „Odpoledne tady byl profesor Pekař, chodili jsme s ním v dešti po zámecké zahradě. Vyprávěl o blbostech pozemkové reformy a o tom, že rukopisy jsou padělané (míněny rukopisy zelenohorský a královédvorský) …..“, zaznamenal si ve svém deníku.

Profesor Pekař později Karla a jeho o dva roky mladšího bratra Františka pochválil v dopise svému učiteli a zakladateli moderní české historické školy profesoru Jaroslavu Gollovi: „Hoši dělají dobrý dojem, jsou bystří a vzdělaní skoro nad svůj věk.“

Mladý Karel VI. Schwarzenberg se tak logicky stal vášnivým stoupencem Pekařovy koncepce české historie, která účelově nevyzdvihuje některá období našich národních dějin (husitství, národní obrození atd.), ale posuzuje je v kontinuitě od počátku do současnosti. Ten také hájí postoje svého vzoru i v publicistických a statích a článcích, které podepisoval pseudonymy Středa a Bojna. Pod jeho vlastním jménem mu také vycházely odborné studie o heraldice. Po Pekařové smrti vzdal Karel VI. svému učiteli hold ve sborníku „O Josefu Pekařovi“, který vydalo nakladatelství Řád.