Ministr zahraničí připomíná svou rodinnou větev. Jeho otec byl totiž heraldik a historik, autor několika historických knih a řady esejů, muž, který hovořil šesti jazyky a překládal, zejména z francouzštiny.

„Odchod z Čech nesl velmi těžce. Přestal si například psát deník, který si jinak vedl každý den. 'Není co psát,' říkával. Každá pohlednice z Čech pro něj byla radost…,“ míní Schwarzenberg a dodává: „Můj otec musel z Čech odejít ve 37 letech a už nikdy svůj domov nespatřil. Já nejenže se vrátil, ale mohu tu i něco užitečného udělat.“