Родился 15 декабря 1950 года во Владивостоке в семье военного летчика, участника Великой Отечественной войны, и учительницы. 

В 1954 году вместе с родителями переехал в Ленинград на новое место службы отца. Окончил с золотой медалью физико-математическую школу, затем в 1973 году Ленинградский электротехнический институт связи имени профессора М.А. Бонч-Бруевича. Радиоинженер, специалист в области космической связи.

Работал инженером в научно-производственном объединении имени Коминтерна (ВНИИ мощного радиостроения). C 1977 по 1996 годы прошел путь от ведущего конструктора до директора крупного подразделения производственного объединения «Электронприбор», где занимался разработкой интегральных схем новейших приборов для нужд обороны и народного хозяйства. С 1996 года – директор Учебно-методического центра новых технологий Балтийского государственного технического университета имени Д.Ф. Устинова, с 1999 года – президент Межрегионального фонда делового сотрудничества «Развитие регионов» (г. Санкт-Петербург).

В октябре 1999 года возглавил Санкт-Петербургское региональное отделение движения «Единство». 27 мая 2000 года избран председателем Политсовета партии «Единство», 20 ноября 2002 года – председателем Высшего совета политической партии «Единая Россия».

С декабря 1999 по 28 марта 2001 года – депутат Государственной Думы Федерального Собрания Российской Федерации третьего созыва. 12 января 2000 года на заседании фракции «Единство» был избран ее руководителем. С 28 марта 2001 года по 28 декабря 2003 года – министр внутренних дел Российской Федерации.

В ноябре 2002 года Грызлов был избран председателем Высшего совета политической партии «Единая Россия».

В декабре 2003 года был избран депутатом Государственной думы РФ четвёртого созыва, в декабре 2007 года - пятого созыва. В обоих созывах был председателем Госдумы. Являлся руководителем фракции «Единая Россия».

С 10 ноября 2012 года по 27 декабря 2016 года был председателем наблюдательного совета Государственной корпорации по атомной энергии «Росатом».

С декабря 2015 года - полномочный представитель РФ в Контактной группе по урегулированию ситуации на востоке Украины.

С 2022 года - чрезвычайный и полномочный посол Российской Федерации в Республике Беларусь.

Кандидат политических наук.

Имеет государственные награды.