O Karlu Schwarzenbergovi, který zná původ své rodiny od roku 1155 a tudíž je pevně vklíněn do historie Evropy a od XVII. století i do českých dějin, lze říci, že v dějinách vyrostl, ač je nikdy na fakultě nestudoval (v Mnichově byl zapsán na lesnické a právnické fakultě, ale po smrti strýce studium přerušil a věnoval se správě majetku) protože ho od mládí obklopovaly, což Karlu Schwarzenbergovi umožňuje se v každý moment dívat na události s mnohem širším kontextem a zároveň i s velmi osobitým humorem (dodnes si lidé pamatují jeho předvolební billboard Když se kecaj nesmysly, raději spím), protože zná spousty intimních detailů velkých dějin jak se tradovaly v rodině a umí z nich vytvářet nečekané paralely. Stopy dějin najdeme na všech jeho zámcích a v palácích buď proto, že jsou tam vystaveny (na Orlíku najdeme obraz Adolfa, jak bojuje s Turky v roce 1599, od té doby mají v erbu hlavu Turka s havranem, mapu, kterou daroval Napoleon po bitvě u Slavkova v roce 1805 maršálkovi, knížeti Karlovi, který ho porazil u Lipska v roce 1813 atd.), nebo proto, jak byly v různých dobách poničeny či úplně zdevastovány, a to jak bombardováním RAF na konci války (Schwarzenberský palác ve Vídni), nebo nacisty (zámek Schwarzenberg, kde si nacisté zřídili stranickou školu, takže byl plný hákových křížů, když to viděli na konci války Američané, nechali ho svými vojáky vyplundrovat), či zámeček Varvažov (bývalé letní sídlo papežského nuncia v Čechách, které za totality bylo zcela zdevastováno, připadlo JZD) či zámek Čimelice (kde po válce chvíli kníže vyrůstal a kde byla od padesátých let filmařská střední škola).

Karel Schwarzenberg ale restituoval jen to, co patřilo jeho otci, jako poslednímu knížeti ze sekundogenitury, to znamená Orlík, Čimelice a Sedlec, Schwarzenberský palác ve Voršilské ulici, kdežto majetek primogernitury, tedy starší větve tohoto rodu, kam patřil zámek na Hluboké nad Vltavou, Krumlov, Třeboň, Vimperk, Protivín atd. a Schwarzenberský palác na Hradčanech a řada dalších nemovitostí, lesů a rybníků o rozloze 55 000 hektarů, podle našich zákonů nemohlo být po roce 1989 vráceno. Že se o restituci primogernitury kníže nepostaral, to mu vyčítá dodnes jeho nevlastní sestra, představitelka této větve Elisabeth Pezoldová, která se s ním již léta soudí o náhradu škody za majetek, který byl její větvi zabrán v roce 1940 a pak v roce 1947, a to přesto, že kníže Adolf byl antifašista, za války žil v USA a finančně podporoval exilovou vládu v Londýně. Jenže české zákony v těchto případech určují restituční hranici datem 25. února 1948. Karel Schwarzenberg majetek rodiny mohl restituovat, protože jeho otci byl z větší části zabrán až v březnu 1948 a zbytek v roce 1950. I když po smrti strýce Jindřicha v roce 1965, jenž ho adoptoval: v Karlu Schwarzebergovi se po dvou stech letech zase spojila primogernitura, první rodová větev, se sekundogerniturou, druhou rodovou větví.

Majetek rodiny Schwarzenbergů byl však před pozemkovou reformou v roce 1922, kdy přišli asi o 61 000 hektarů půdy, mnohem větší. Před první světovou válkou Schwarzenbergové vlastnili v jižních Čechách podle W. M. Johnsona 127 478 hektarů lesů a luk, čtyři svobodné statky, s 18 211 hektary půdy, 12 hradů a zámků, 95 kravínů s výrobnami mléčných produktů, 12 pivovarů, dva cukrovary, 22 pil, grafitové doly, měli patronát nad 73 farnostmi s 87 kostely, zaměstnávali 5 000 selských rodin a několik set úředníků. V Německu má tato rodina zámek Schwarzenberg ve Francku v Scheinfeldu, po kterém se jmenuje a okolní panství, v Rakousku zámek Murau ve Štýrsku s panstvím a řadu dalších obchodních aktivit včetně paláce ve Vídni, který funguje jako luxusní hotel pro zahraniční hosty a politiky. Díky tomu, že matka Karla Schwarzenberga rozená Fürstenbergová vedla ve Vídni dlouho pověstný salón a taky tomu, že význačné návštěvy dost často bydlely právě v tomto hotelu, kde nechal kníže vystavět zvláštní bezpečnostní křídlo pro významné hosty (jako první tam přespala izraelská ministerská předsedkyně Golda Meirová), se Karel Schwarzenberg s většinou starších politiků zná od mládí. Rozdíl mezi Karlem Schwarzenbergem a místními novými zbohatlíky a politiky je v tom, jak sám nedávno poznamenal, že jeho rodina se domohla majetku během více než tří set let a ti zdejší bohatci velmi často během necelých tří let. V současné době prakticky celý rakouský a německý majetek rodiny patří schwarzenberské nadaci, kterou řídí šestičlenná správní rada, jež se schází třikrát až čtyřikrát do roka. V čele rady stojí dědičný princ Jan Ondřej a jejími členy jsou dále právníci, a daňový poradce. Ustanovením nadace naplnil kníže přání strýce Jindřicha zajistit nedělitelnost rodinného majetku v příštích generacích, protože takhle by mohla zřejmě nadace fungovat po celé XXI. století a zároveň naplňuje starou šlechtickou představu o vztahu k majetku: šlechtic se nemá cítit majitelem, ale pouze dočasným správcem.

Karel Schwarzenberg je sice rodilý Pražák, narodil se 10. prosince 1937 v porodnici v Bubenči, ale od jedenácti let žil většinou v Rakousku, ač má, jako celá jeho rodina, domovské právo už více než tři sta let v Curychu, z čehož se postupně vyvinulo švýcarské občanství. Celé jeho jméno zní: Karel Jan Josef Norbert Bedřich Antonín Vratislav Mnas, XII. kníže ze Schwarzenbergu, okněžněný lankrabě v Kleggau, hrabě ze Sulzu a vévoda v Českém Krumlově.

Po návratu do Čech v roce 1990 zjistil, že má i české občanství, protože mu ho zapomněli odebrat. Do občanského průkazu si kdysi nechal napsat jako povolání lesník a hostinský. Vychován byl bilinguálně: jeden týden se u nich hovořilo česky, druhý německy a někdy anglicky, protože jeho matka měla maminku ze Skotska: když byla nervózní, přecházela proto do angličtiny. Jako příslušník šlechty se cítil vždy zavázaný svému králi, císaři či prezidentovi, kterému sloužil. Národnostní spory mu byly cizí (ostatně i proto, že je věřící: církev nehovoří o národech, ale o jazycích), ale velmi silně byl u něj vyvinut zemský patriotismus jako už u jeho předků od 18. století. Často bývají citována slova knížete Karla III., která pronesl roku 1871: "Chceme hájit práv těch, co naše síly stačí, nechť stane se cokoliv, až do těch hrdel a statků." Tím bylo míněno státoprávní postavení Koruny české.