Grzegorz urodził się ok. 660 roku w zamożnej rodzinie w Rzymie jako syn Marcellusa. Młodość spędził na dworze papieskim, na którym pracował jego ojciec. Grzegorz przez wiele lat jako subdiakon był skarbnikiem. Papież Sergiusz I (687-701) udzielił mu święceń subdiakonatu i powierzył mu urząd papieskiego zakrystiana i bibliotekarza. Po święceniach diakonatu papież Konstantyn I (708-715) zabrał go ze sobą do Konstantynopola na rozmowy z cesarzem Justynianem II, podczas których Grzegorz wykazał mądrość, roztropność i stanowczość. Po śmierci Konstantyna został prawie jednogłośnie wybrany jego następcą, chociaż był dopiero diakonem. Natychmiast otrzymał święcenia kapłańskie i sakrę biskupią dnia 19 maja 715 roku.
Podczas 16 lat pontyfikatu realizował program rozszerzenia chrześcijaństwa w Niemczech, dokąd wysłał św. Bonifacego. Konsekrował go na metropolitę misyjnego i dał mu wszelkie konieczne pełnomocnictwa dla wypełnienia misji. Przeciwstawił się zarządzeniom cesarza Leona III Izauryjczyka o zwiększeniu podatków na rzecz państwa z posiadłości w Italii, także kościelnych, jak również jego wystąpieniom w sprawach religijnych. W listach skierowanych do cesarza Leona III papież Grzegorz II wskazywał na szkodliwość mieszania się władzy świeckiej w dziedzinę dogmatyczną, odnosił się również do problemu ikonoklazmu (był przeciwny obrazoburcom, których popierał cesarz). Cesarz natomiast usiłował nie tylko pozbawić Grzegorza II godności papieskiej, ale go zgładzić. Swój dom rodzinny Grzegorz II zamienił w klasztor św. Agaty. Po najeździe Longobardów na państwo kościelne i zniszczeniu Rzymu zajął się odbudową miasta oraz spustoszonego kraju - m.in. nakazał opatowi Petronaksowi z Brescii odbudowanie klasztoru na Monte Cassino. Odnowił i umocnił mury Rzymu. Zwołał też do Rzymu synod, na którym uchwalono 17 kanonów dotyczących jedności małżeństwa i wymierzonych przeciwko zabobonom, jakie się wówczas szerzyły. Grzegorz II wprowadził do Mszy św. nowy ryt w okresie Wielkiego Postu, m.in. wielkoczwartkową Mszę św.
Zmarł 11 lutego 731 r. w Rzymie, został pochowany w bazylice św. Piotra.