Narodil se v pražské Hostivaři 15. dubna 1873 v selské rodině. Vyučil se pekařem a po smrti svého otce převzal rodinné hospodářství. Politicky se začal angažovat v 90. letech 19. století, kdy byl aktivní ve Sdružení českých zemědělců (od roku 1899 přeměněno v Agrární stranu). V čele Agrární strany byl již od roku 1909, ve funkci setrval až do své smrti. Z agrárníků učinil nejsilnější předválečnou českou politickou stranu.

Za první světové války se účastnil mimo jiné činnosti Českého svazu a Maffie a od července 1918 stál v čele Národního výboru. Patřil také k organizátorům převratu 28. října 1918. Podle původní dohody, kterou učinili domácí a exiloví politici na konci října 1918 v Ženevě, se měl Švehla stát ministrem zemědělství. Nakonec ale pro sebe prosadil mnohem důležitější post ministra vnitra (1918-1920).

Švehla byl architektem tzv. rudo-zelené koalice agrárníků se sociálními demokraty a národními socialisty, která v červenci 1919 vystřídala všenárodní koalici. Významně také ovlivnil podobu prvorepublikové ústavy přijaté v únoru 1920. Švehlovým dítětem se též stala neformální, ale o to důležitější instituce, tzv. Pětka, tedy uskupení šéfů velkých stran.