Narodil se v rodině architektů jako druhý ze tří synů. Jeho původní myšlenka byla stát se matematikem, ovšem v mládí od této myšlenky odstoupil a pokračoval v rodinném řemesle – v architektuře. Studoval u Heinricha Tessenowa na institutu technologie v Berlíně. O rok později mu bylo doporučeno jeho studentem, aby navštívil jeden z Hitlerových projevů. Své návštěvy opravdu nelitoval a v roce 1932 vstoupil do nacistické strany NSDAP s číslem 474.481, kde udělal rychlou politickou kariéru. První velkou zakázku získal na přestavbu ministerstva propagandy od Josepha Goebbelse, který byl jeho prací nadšen a doporučil ho Hitlerovi. Speer se stal prominentem nacistického režimu a dokonce i Hitlerovým blízkým spolupracovníkem. Už v roce 1934 se Speer stal hlavním architektem Třetí říše..

V roce 1942 (po tragické smrti Fritze Todta) se stal ministrem zbrojního průmyslu a během jeho vedení dosáhla produktivita práce v průmyslu svého maxima, protože výrazně vylepšil i podmínky vězňů v pracovních táborech. V březnu 1945 se však vzepřel Hitlerovým nařízením o destrukci německých průmyslových objektů, mostů, železnic a mnoha dalších objektů před nepřítelem, čímž tak mnoho z nich zachránil před zničením.

Po ukončení druhé světové války byl Speer Spojenci zajat, obžalován jako válečný zločinec a v Norimberském procesu souzen Mezinárodním vojenským tribunálem. Byl shledán zodpovědným zejména za bezohledné a nehumánní zacházení s pracovníky na jím řízených stavbách, jeho obhájci se nicméně podařilo soud přesvědčit, že Speer nebyl ideologickým nacistou a působil primárně jako technický odborník. Odsouzen byl tak „jen“ k 20 letům vězení, které celé prožil ve věznici ve Spandau. Odtud také pocházejí jeho deníky, z nichž jsme vybrali až reportážně působící pasáže, zachycující poslední okamžiky životů odsouzených k smrti. Mnohé jeho postřehy týkající se nacistických pohlavárů z jistého specifického úhlu ukazují zrůdnost a vyšinutost celého režimu, kterému Speer sloužil velmi poslušně, ale nepatřil k těm, kdo měli na rukou nejvíc krve.

Okolnosti procesu a jeho závěru popisuje dobře Miroslav Řehák na serveru valka.cz:

„Norimberský soud byl procesem složitým, zdlouhavým, vyčerpávajícím, ale v jistém smyslu nutným. Obžalovaným, ač to v některých případech ani nebylo nutné, byly dokazovány trestné činy a jiné body obžaloby. Jednou byly v soudní síni promítány různé filmy, točené samotnými německými vojáky, kvůli prokázání, některých činů. Jedním z těchto filmů byl také „dokument“ nazvaný prostě „Koncentrační tábory“. Byly v něm sestřihy těch největších hrůz, které byly v těchto lágrech páchány. Po skončení filmu říká Streicher, aniž se k němu někdo obrací přímo: „To se něco takového dělo v posledních dnech?“ Fritzsche se ušklíbl a odpovídá: „Milióny v posledních dnech? Ne...“