Mikołaj Gross urodził się 30 września 1898 roku w Niederwenigern, małej miejscowości w Zagłębiu Ruhry, w Niemczech. Wychowywał się w rodzinie ubogiej i pobożnej. Po ukończeniu szkoły podstawowej w 1912 roku, pracował najpierw przez trzy lata w walcowni, a potem przez pięć lat jako górnik w kopalni. Jednocześnie uczęszczał w Essen na kursy wieczorowe, by zdobyć lepsze wykształcenie. W 1917 roku zapisał się do Związku Górników Chrześcijańskich, a w 1919 roku został członkiem Stowarzyszenia Górników i Robotników św. Antoniego Padewskiego.
Wiara katolicka bardzo wcześnie pomogła mu zrozumieć, że dla chrześcijanina solidarność stanowi drogę do przezwyciężenia niesprawiedliwości i nierówności społecznych. To prowadziło go do jeszcze większego zaangażowania w działalność społeczną. W 1920 roku został sekretarzem Związku Młodzieży w Oberhausen, a rok później rozpoczął pracę w redakcji chrześcijańskiego czasopisma "Górnik" (wydawano go w Essen). Od 1922 roku przewodniczył Stowarzyszeniu Górników Chrześcijańskich, najpierw na Dolnym Śląsku, potem w Saksonii i Zagłębiu Ruhry. W połowie 1926 roku został redaktorem, a następnie dyrektorem "Westdeutsche Arbeiterzeitung", najważniejszej gazety ruchu robotników chrześcijańskich w zachodnich Niemczech (osiągała nakład 170 tys. egzemplarzy).
Wkrótce też nastąpiła poważna zmiana w jego życiu. W dniu 23 maja 1923 roku ożenił się z Elżbietą Koch. Znali się jeszcze z lat szkolnych. Tworzyli kochającą się parę. Z ich małżeństwa w latach 1924-1940 urodziło się siedmioro dzieci. Był dobrym ojcem, bardzo przywiązanym do rodziny. W 1930 roku rodzina Grossów przeniosła się do Kolonii.
W swojej działalności Mikołaj coraz bardziej sprzeciwiał się zarówno nazistowskim teoriom ekonomicznym, jak i antychrześcijańskiej i neopogańskiej ideologii. Powtarzał: "Szczególną troską powinniśmy otaczać ubogich i chorych". Nie był wielkim mówcą, ale w jego słowach słychać było szczerość i prawdę. To pociągało za nim ludzi. Z każdym rokiem rosnących wpływów Adolfa Hitlera, zasłona propagandy była coraz mniej szczelna. Coraz więcej osób przekonywało się o prawdziwym obliczu narodowego socjalizmu. Przy każdej nadarzającej się okazji Mikołaj nawoływał robotników do uważnego i uczciwego przyglądania się działaniom przedstawicieli nowej partii. Po objęciu władzy przez Hitlera w 1933 roku, kierowany przez Grossa dziennik borykał się z coraz większymi trudnościami. Mikołaj przypominał na jego łamach, że "chrześcijanie powinni sprzeciwiać się narodowym socjalistom nie tylko z powodów ekonomicznych i politycznych, ale przede wszystkich ze względu na naszą wiarę i kulturę". Kresem dziennika stał się rok 1938 - zakazano jego wydawania.
Mikołaj publikował jeszcze pomniejsze pisma. Przyłączył się także do ruchu oporu w Niemczech. Z tego powodu jego nazwisko figurowało na czarnej liście władz narodowo-socjalistycznych. Po nieudanym zamachu na Hitlera w dniu 20 lipca 1944 roku, Gross, pomimo że nie brał udziału w jego przygotowaniu, został aresztowany. Był torturowany i więziony w Kolonii, Frankfurcie nad Menem, Ravensbrück i Berlinie. Na koniec, w dniu 15 stycznia 1945 roku wyrokiem tzw. sądu ludowego, pod przewodnictwem Rolanda Freislera, skazano go na śmierć. Dwa dni później jego żona, która na wszelkie sposoby próbowała go ratować, uzyskała zezwolenie na piętnastominutowe odwiedziny. Podczas ostatniego spotkania Mikołaj powiedział jej: "Do zobaczenia w lepszym świecie. W niebie będę mógł zrobić więcej dla ciebie i dla dzieci niż na tym świecie".
W dniu 23 stycznia 1945 roku został powieszony w więzieniu w Berlinie-Plötzensee. Naziści bali się jego wiary w Boga, jego siły ducha, także po śmierci. Dlatego ciało Mikołaja spalono, a rodzinę powiadomiono o jego śmierci dopiero 7 lutego. Kilka miesięcy później koszmar II wojny światowej dobiegł końca.

Życie Mikołaja Grossa stało się świadectwem wielkiego męczeństwa w imię wierności Jezusowi Chrystusowi. Jako człowiek świecki żył i umarł jak prawdziwy chrześcijanin, wierny aż do końca. Tak mówił o nim papież św. Jan Paweł II podczas jego beatyfikacji w dniu 7 października 2001 r.:

Mikołaj bardzo wyraźnie dostrzegał, że ideologii narodowosocjalistycznej nie da się pogodzić z wiarą chrześcijańską. Odważnie chwycił za pióro, aby bronić godności człowieka. Mikołaj Gross bardzo kochał swoją żonę i dzieci, jednakże wewnętrzna więź z własną rodziną nigdy nie kazała mu wyrzec się Chrystusa i Jego Kościoła. Stawiał sprawę jasno: "Jeżeli dzisiaj nie jesteśmy gotowi zaryzykować życia, to jakże zdołamy kiedyś usprawiedliwić się przed Bogiem i naszym ludem?" Z powodu tych przekonań musiał zginąć na szafocie, ale właśnie dlatego otwarły się przed nim bramy niebios. W błogosławionym męczenniku Mikołaju Grossie urzeczywistniła się przepowiednia proroka: "Sprawiedliwy żyć będzie dzięki swej wierności" (Ha 2, 4).