Bil'ak se narodil v roce 1917 na východním Slovensku. Vyučil se krejčím a svou původní profesi i během politické kariéry rád zdůrazňoval, což mělo za důsledek řadu vtipů z řad veřejnosti. Působil v různých stranických funkcích, nejprve na Slovensku, později na celorepublikové úrovni.

V roce 1968 se jako člen ÚV KSČ angažoval proti reformnímu křídlu KSČ kolem Alexandera Dubčeka. Byl mezi signatáři tzv. „zvacího dopisu“, kterým skupina vedoucích komunistů žádala sovětské vedení o pomoc a který byl následně uváděn jako důvod vojenské invaze v srpnu 1968.

V době normalizace působil jako tajemník ÚV KSČ a byl považován za nejbližšího spojence Moskvy. Ve funkcích vydržel až do roku 1989. V devadesátých letech byl několikrát vyšetřován kvůli podpisu „zvacího dopisu“, sám však vždy prohlašoval, že jeho podpis byl zfalšován a nic nepodepsal.