Josef Hlávka se narodil v malém západočeském městě Přešticích. Vystudoval architekturu na vídeňské Akademii. Byl vynikajícím studentem, získal několik ocenění, především tzv. Římskou cenu, která mu umožnila cestovat po Evropě a studovat různé architektonické slohy. Po návratu do Vídně dostal darem od českého stavitele Šebka (v době studií pro jeho firmu pracoval) stavební firmu, získal koncesi a stal se vídeňským stavitelem a v roce 1865 i vídeňským měšťanem. Postupně se vypracoval na jednoho z nejžádanějších stavitelů ve Vídni. V literatuře a archivních pramenech se uvádí, že během 13 let (1860 – 1873) realizoval celkem 142 staveb (některé podle projektů jiných architektů, některé podle projektů vlastních), ty nejvýznamnější v centrální části města. Byly to reprezentační veřejné budovy i ekonomicky úsporné činžovní domy. Některé jsou památkově chráněné, jako budova Opery, některé byly naopak přestavěny nebo zbořeny. Největší a reprezentační vznikly podél Ringstrasse a zařadily Hlávku mezi její spolutvůrce. Kromě stavitelské činnosti se věnoval i projektování a realizaci vlastních staveb nejen ve Vídni. Mezi  jeho nejvýznamnější projekty a realizace patří areál rezidence metropolitů řeckopravoslavné církve v Černovicích na Bukovině (dnes je v areálu jedna z významných ukrajinských univerzit). V roce 2011 byl tento areál Josefa Hlávky zapsán do seznamu světového kulturního a přírodního dědictví UNESCO (již v roce 2008, při příležitosti 100. výročí úmrtí Josefa Hlávky, vyhlásilo UNESCO toto výročí za výročí světové). V Praze Josef Hlávka postavil budovu Zemská porodnice (v roce 2015 bolo připomenuto 140. výročí od jejího otevření a na budově byla odhalena Hlávkova pamětní deska) a nadační domy ve Vodičkově a Jungmannově ulici. Také přestavba zámku v Lužanech u Přeštic je autorským Hlávkovým dílem. Jeho stavby byly realizovány v novogotickém slohu, nebo ve slohu novorenesančním.

V roce 1869, zřejmě z přepracování Josef Hlávka těžce onemocněl (uzdravil se po dlouhých deseti letech), odešel do ústraní a stal se bohatým soukromníkem. Po uzdravení se věnoval  odborné a teoretické činnosti v oboru záchrany a obnovy historických památek. Např. v roce 1890, po velké povodni v Praze, kdy byl stržen Karlův most, vypracoval projekt jeho záchrany a též jej financoval.