Klášter zvaný „Na Karlově" s chrámem zasvěceným Karlu Velikému a Panně Marii založil roku 1350 na návrší při hradbách Nového města Karel IV. Ostatky (tři zuby) svého patrona, římského císaře Karla Velikého nechal uložit do hlavního oltáře. Kostel byl postaven po vzoru oktogonální centrální pohřební kaple Karla Velikého v Cáchách a vysvěcen ještě před dokončením arcibiskupem Janem Očkem z Vlašimi roku 1377. Za husitských válek byl poškozen a během oprav po jejich skončení zřejmě vznikla dnešní podoba proslulé klenby, což dokládá nápis na svorníku uprostřed. Směle vyklenutá klenba dala vznik pověsti o nešťastném staviteli, který kvůli zvládnutí náročného úkolu upsal svoji duši ďáblu.