Rodák z Prahy pocházel z malířské rodiny. Otec Antonín byl významným malířem-krajinářem a učil na výtvarné akademii v Praze. Malíři byli také strýc Václav a sourozenci Amalie a Quido. V době studií v Praze se v roce 1837 seznámil s Bedřichem Silva Tarouca, pozdějším brněnským národním a spolkovým činitelem. Zároveň byl jako talentovaný malíř osloven Bedřichovou matkou Leopoldinou hr. Silva Tarouca, rozenou Šternberkovou a byl mu zadán úkol vyzdobit velký sál zámku v Čechách pod Kosířem rodovými portréty.

Josef Mánes těžce nesl rozchod se svou láskou Fanynkou Šťovíčkovou. Přítel abbé Bedřich jej proto v roce 1849 pozval na zámek do Čech pod Kosířem. Potom sem začal jezdit.  Získal zde klid pro svou práci, dobré zázemí, ocenění i materiální zajištění u majitele zámku hraběte Augusta Alexandra Silva Tarouca, jeho manželky paní Gizely a zámeckých dam Anežky a Jetty. Stal se jejich přítelem, společníkem, rádcem při úpravách zámku i učitelem malířství.

Vytvořil zde kolem stovky obrazů, kreseb, studií a skic. Patří mezi ně například Hanačka s rukama v šorci, Hanák ve vysoké vydrovce, litografie Líbánky na Hané, Červené paraplíčko, cyklus Život na panském sídle, studie krojů, portréty Hanáků a Hanaček, kresby krajiny a žudrů. Z dalších námětů můžeme uvést Čtvero ročních počasí, kalendářní desku pražského orloje, obrazy Hvězdná noc, Vítání hosta a ilustrace k Rukopisu královédvorskému.