Einstein se vzápětí stal všeobecně známým a oslavovaným učencem. Nicméně ani toto potvrzení teorie relativity nezměnilo zatvrzelost jejich odpůrců, kteří ten souhlas buď vysvětlovali nepřesnostmi měření nebo tím, že by ho snad mohla poskytnout třeba i klasická fyzika. V Německu se kritici uchylovali i k štvavé národnostní argumentaci. V r. 1919 Einstein dosáhl mimo jiné rozvodu se svou prvou ženou Milevou a vzápětí uzavřel sňatek se sestřenicí Elsou, s kterou měl již sedmiletý poměr. Zatímco Einstein žil v Berlíně, Mileva se o oba jejich syny starala v Curychu. Tyto dvě jeho manželky však nebyly Albertovými múzami jedinými.

Poválečný antisemitismus v Německu na počátku dvacátých let vedl Einsteina k podpoře vzniku čistě židovské Hebrejské univerzity v Palestině. To vyústilo v jeho první cestu do Ameriky s cílem napomoci získávání fondů pro založení univerzity. Na cestu vyrazil s Elsou v březnu 1921, doprovázel je budoucí první prezident Izraele Chaim Weizmann, původní profesí chemik, který však konvertoval na politika. Nicméně Ameriku zajímal Einstein především jako tvůrce teorie relativity. Einstein plnil velké sály, všichni zájemci se nedostali ani na jeho přednášku v Metropolitní opeře. Ve Washingtonu navštívil Bílý dům, poté cestoval do Chicaga, Princetonu, Bostonu, Clevelandu. V Německu se však Einstein stává terčem další nevraživosti. Poté, co je zavražděn ministr zahraničí Walther Rathenau, je Einstein policií varován, že může být dalším v pořadí, a proto dočasně opouští Berlín. Na podzim r. 1922 odjíždějí manželé Einsteinovi na delší přednáškovou cestu do Japonska. Na lodi začátkem listopadu obdrží radiogram o udělení Nobelovy ceny, jmenovitě za formulování zákonitostí fotoelektrického efektu (aniž by byla explicitně zmíněna teorie relativity). Význam výsledků o fotoelektrickém jevu byl nadto o rok později podtržen udělením Nobelovy ceny Američanovi Robertu Millikanovi, který podal přesnou experimentální verifikaci Einsteinem formulované zákonitosti. Millikan též jako první změřil náboj elektronu. Einstein svou Nobelovskou přednášku proslovil až v červenci 1923, ale naopak ostentativně v ní nehovořil o fotoelektrickém jevu, nýbrž o relativitě, s výhledem na možnost vytvořit unifikovanou teorii pole, která by organicky propojovala obecnou teorii relativity s elektromagnetickou teorií a kvantovou mechanikou. Na tomto univerzálním fyzikálním obrazu světa Einstein pracoval až do konce života, aniž by ho ale dokončil.

Podle příslibu daného první ženě při rozvodu, Einstein finanční odměnu spojenou s Nobelovou cenou převedl ve prospěch Milevy a synů. Pod vlivem poválečné inflace se ale za jednu část pořídily v Curychu tři domy. Zbytek se uložil na účet v americké bance, z něj však Mileva měla přístup jen k úrokům, což byl ústupek od původní velkorysejší nabídky. Věc dál zkomplikovalo, že u mladšího syna Eduarda kolem dvacítky propukla schizofrenie, takže Mileva se o něj musela starat až do konce života, a nemovitosti musela postupně rozprodávat.
Alberta Einsteina múzy utajené

V prvních letech Einsteinova působení v Berlíně fungovala jako jeho sekretářka starší dcera Ilsa druhé Einsteinovy manželky Elsy. V r. 1918 bylo Ilse jednadvacet let, zatímco její matce 42, a otčímovi Albertovi 39. V rodině bylo hotovou věcí, že Albert a Elsa uzavřou sňatek, ledva bude finalizován Albertův rozvod s jeho prvou ženou Milevou. A tak to brala i historie, dokud v devadesátých letech nebyl nalezen dopis z 22. května 1918, ve kterém Ilsa informuje svého dřívějšího milence o události dosti šokující nejen tehdy ji, ale v podstatě udivující i dnes. Ilsa píše, že odpolední škádlení náhle vygradovalo v Albertovu nabídku, že si vezme ji namísto její matky. Albert jí tvrdil, že ji miluje, ba miluje ji více než kterýkoliv jiný muž vůbec kdy bude. A že matka je svolná ustoupit stranou, pakliže to Ilsu učiní šťastnou.

Další žena. V červnu 1923 nastupuje k Einsteinovi jako dočasná sekretářka třiadvacetiletá Betty Neumannová, která vyrostla v pěstounské péči v rodině jeho přítele Hanse Mühsama. Tento židovský lékař pečoval o Einsteinovu matku, když onemocněla rakovinou. Bettino sekretářství bylo jen záskok na šest týdnů za nemocnou dceru Ilsu. Na závěr Betty odmítne gáži a požádá jen o smotek Albertových kadeřavých vlasů. Věc rychle přeroste v milostný vztah trvající dva roky. Loajální choť Elsa neprotestuje a tiše spolupracuje - opouští na dlouhé hodiny byt, aby mohl sloužit pro dostaveníčka. Einstein nabízí Betty bizarní řešení, že by všichni tři přesídlili do Ameriky.