Józef urodził się 17 listopada 1910 r. w pomorskiej wsi Czyczkowy koło Brus. Był drugim synem z ośmiorga dzieci rolników Roberta i Michaliny. Już jako dziecko lubił się modlić, jego wiara szybko się pogłębiała. Odznaczał się też wrażliwością na potrzeby innych ludzi. Bardzo wcześnie rozpoznał w sobie powołanie kapłańskie.
W latach 1924-1925 rozpoczął naukę w założonym zaledwie trzy lata wcześniej gimnazjum pallotyńskim w Sucharach koło Bydgoszczy. Później kontynuował ją w założonym w 1909 r. pallotyńskim "Collegium Marianum" w Wadowicach, na Kopcu. Działał w kółku misyjnym i gimnazjalnej orkiestrze, a w lecie wakacje spędzał w domu, gdzie chętnie wracał, by pomagać rodzicom w pracach polowych.
W 1929 r. rozpoczął nowicjat w Ołtarzewie u pallotynów. Aby ukończyć gimnazjum, wrócił do Wadowic i tam w 1931 r. złożył pierwszą profesję. Następnie w Wyższym Seminarium Duchownym w Ołtarzewie ukończył studia filozoficzno-teologiczne. W 1934 r. otrzymał tonsurę i święcenia niższe z rąk ks. kard. Augusta Hlonda, ówczesnego Prymasa Polski. Rok później został subdiakonem i diakonem. Na kapłana wyświęcił go w Sucharach biskup gnieźnieński Antoni Laubitza w dniu 2 sierpnia 1936 r.
W swojej pracy ks. Józef zawsze kierował się postanowieniem: "Chcę dążyć do wielkiej świętości i kochać Boga nade wszystko, ale równocześnie chcę być zapomnianym". Dlatego powierzone funkcje pełnił ofiarnie, zapominając o sobie. Był prefektem szkół w Ołtarzewie i okolicy oraz opiekunem Krucjaty Eucharystycznej i postulantów.
Na jego życie wewnętrzne głęboki wpływ wywarła lektura Dziejów duszy św. Teresy od Dzieciątka Jezus. Z dużą gorliwością zachęcał dzieci i młodzież do wchodzenia na drogę dziecięctwa duchowego, proponowanego przez Teresę. Stał się też cenionym spowiednikiem. Pamiętając o swojej licznej i niezamożnej rodzinie, starał się być dla niej przewodnikiem duchowym.
Od 1939 r., po wybuchu II wojny światowej, był sekretarzem Komitetu Pomocy Dzieciom - organizacji, która była bardzo potrzebna, bo ojcowie rodzin byli często na froncie. Pracował także jako duszpasterz żołnierzy i ludności cywilnej. Podczas kampanii wrześniowej, walki w ramach tzw. bitwy nad Bzurą toczyły się w okolicach Ołtarzewa. Ks. Józef poszedł spowiadać rannych, a umierających przygotować na śmierć.
Gdy rozpoczęła się okupacja niemiecka, klerycy zostali ewakuowani na wschód. Józef pozostał z kilkoma braćmi w Ołtarzewie, pomagając okolicznej ludności i ukrywającym się żołnierzom kampanii wrześniowej. Został ekonomem domu seminaryjnego, w którym przebywało wtedy około stu osób. Gdy na jakiś czas Niemcy zamienili ten dom w szpital wojenny, Józef odpowiadał za jego zaopatrzenie.
Z chęcią podejmował się coraz to większej ilości obowiązków, bo jak napisał, "nie godność, nie władza daje szczęście, ale zbliżenie się do Boga - miłość".
W 1941 r. został mistrzem nowicjatu. Zanotował wtedy: "Za najszczęśliwsze uważam w swym życiu chwile, które przepędziłem na serdecznej modlitwie, w bezpośrednim obcowaniu z Bogiem".

16 maja 1941 r. został aresztowany przez gestapo, przewieziony na warszawski Pawiak, a po dwóch tygodniach okrutnych tortur zabrany, tym samym transportem co o. Maksymilian Kolbe, do obozu zagłady w Oświęcimiu. Dostał numer 16895. Przez pięć miesięcy pracował ponad siły o głodzie i w ciągłych upokorzeniach.
Naoczni świadkowie zapamiętali, z jaką godnością i spokojem znosił prześladowania, poniżenia i udręki, zadawane mu z nienawiści do wiary i kapłaństwa. Do końca był wierny zapisanym kiedyś przez siebie słowom: "Pragnę kochać Boga nad życie. Oddam je chętnie w każdym czasie, ale bez gorącej i wielkiej miłości Boga nie chciałbym iść na drugi świat".
Nawet oprawcy dziwili się jego pokornej postawie. Aby go złamać, 16 października 1941 r. oddano go w ręce "krwiożercy" - kryminalisty Heinricha Krotta, słynącego ze swego okrucieństwa kapo podobozu Babice. Był to ten sam sadysta, który nękał o. Maksymiliana. To on poddał Józefa tak okrutnym torturom, że tego samego dnia umęczony pallotyn odszedł do Pana. Jego ciało spalono w obozowym krematorium. Miał zaledwie 31 lat, z czego 5 lat przeżył w kapłaństwie.
Kierując się przykładem św. Wincentego Pallottiego, przez całe życie ks. Józef konsekwentnie dążył do świętości i stawiał sobie najwyższe wymagania. Swoją miłość do Boga potwierdził niezłomną postawą i ofiarą z własnego życia. Był przykładem - w słowie i czynie - szczególnej miłości do Jezusa Eucharystycznego i szczerego zawierzenia Matce Bożej, Królowej Apostołów.

W 1999 r. został beatyfikowany przez św. Jana Pawła II w grupie 108 polskich męczenników II wojny światowej. Papież powiedział wtedy:

W akcie beatyfikacji niejako odżywa w nas wiara, że bez względu na okoliczności, we wszystkim możemy odnieść pełne zwycięstwo dzięki Temu, który nas umiłował. Błogosławieni męczennicy wołają do naszych serc: Uwierzcie, że Bóg jest miłością! Uwierzcie na dobre i na złe! Obudźcie w sobie nadzieję! Niech ta nadzieja wyda w was owoc wierności Bogu we wszelkiej próbie!
Raduj się, Polsko, z nowych błogosławionych [...] Spodobało się Bogu wykazać przemożne bogactwo Jego łaski na przykładzie dobroci twoich synów i córek w Chrystusie Jezusie. Oto bogactwo Jego łaski, oto fundament naszej niewzruszonej ufności w zbawczą obecność Boga na drogach człowieka w trzecim tysiącleciu! Jemu niech będzie chwała na wieki wieków.

Za zgodą Stolicy Apostolskiej bł. Józef Jankowski został ogłoszony patronem miasta i gminy Brusy.