Staré hodnoty válečnické elity samurajů - rytířskost a umění zápasit (kyokyaku) - ztratily pro vládnoucí třídu na významu. Přesto si mnozí nemohli zvyknout na změny v zemi. Stali se bandity, plundrovali vesnice a města. Ochrana proti banditům byla hledána u samurajů, řemeslníků, obchodníků a dělníků, z nichž mnozí byli schopnými herci (bakuto). Stali se služebníky na ochranu měst (machi-yakko) a vystupovali jako japonští Robinové Hoodové. A právě zde je třeba hledat původ Yakuzy. Původní legendární postavou yakuzy byl majitel herny Banzuin no Chobei, který byl v 17. století vůdcem machi-yakko v Edu, tj. dnešním Tokiu. Herci (bakuto) v té době vyvinuli organizaci se silným vedením, propracovanou sociální strukturou, rituály a komplexním hodnotovým systémem, který je platný dodnes. Časem si bakuto rozdělili okresy mezi jednotlivé herecké skupiny. Zuřily však mezi nimi boje, které vedly ke vzniku paramilitaristického systému. Bakuto se uchylovali k teroru, vydírání peněz a podél hlavních silnic zřizovali herní doupata. Pěstovali karetní hru hanafunda. Nejhorší kartou v této hře byla osmička (ya), desítka (ku) a trojka (za). Ya-ku-za se proto nazývali nejdříve ti, co prohrávali, později všichni hráči a konečně zločinecká seskupení.