Narodil se 13. dubna 1851 na zámku v Laškově. Byl druhorozeným synem majitele zámku Františka Adolfa Kolarze z Laškova a Lešan. Pracoval jako soudce c. k. okresního soudu v Prostějově a bydlel ve Vodní ulici č. 31 v Prostějově. Jeho starší bratr Karel Jaroslav Kolarz byl povýšen císařem Františkem Josefem I. do šlechtického stavu. Důvodem byla skutečnost, že v srpnu 1887 v době konání vojenských manévrů na Konicku, poskytl zámek k ubytování císaři.