Józef Ulma urodził się 2 marca 1900 r. w wielodzietnej, rolniczej rodzinie w Markowej (arch. przemyska). Ukończył czteroklasową szkołę powszechną w rodzinnej miejscowości. Już w młodości był zaangażowany w działalność społeczną. W wieku 17 lat został członkiem Związku Mszalnego Diecezji Przemyskiej, którego jednym z celów było zbieranie funduszy na budowę i konserwację kościołów. Uczestniczył także w Katolickim Stowarzyszeniu Młodzieży oraz Związku Młodzieży Wiejskiej RP "Wici", w którym był bibliotekarzem i fotografem.
W latach 1921-1922 odbywał służbę wojskową. W latach 1929-1930 kształcił się w Państwowej Szkole Rolniczej w Pilźnie. Po jej ukończeniu z wynikiem bardzo dobrym stał się propagatorem upraw warzyw i owoców, prowadząc szkółkę drzew owocowych, hodując pszczoły oraz jedwabniki. Jako pierwszy w Markowej wprowadził w swoim domu elektryczność, podłączając żarówkę do małego, ręcznie zbudowanego wiatraka.
Jedną z jego pasji było robienie zdjęć. Własnoręcznie wykonał aparat, który służył mu do fotografowania. Dzięki temu zachowały się zdjęcia z wielu wydarzeń w rodzinnej miejscowości oraz zdjęcia rodzinne.

7 lipca 1935 roku ożenił się z pochodzącą z tej samej miejscowości Wiktorią Niemczak. W wieku 6 lat Wiktoria straciła matkę. Uczęszczała do szkoły powszechnej w rodzinnej miejscowości, a następnie na kursy Uniwersytetu Ludowego w pobliskiej Gaci. Była członkiem Amatorskiego Zespołu Teatralnego w Markowej - grała m.in. rolę Matki Bożej w jasełkach.

Od czasu ślubu Józef i Wiktoria wspólnie prowadzili kilkuhektarowe gospodarstwo rolne. Wiktoria zajmowała się domem i dziećmi, udzielała się także w amatorskim teatrze wiejskim.

W kolejnych latach rodzinie Ulmów urodziło się sześcioro dzieci: Stanisława (ur. 18 lipca 1936 r.), Barbara (ur. 6 października 1937 r.), Władysław (ur. 5 grudnia 1938 r.), Franciszek (ur. 3 kwietnia 1940 r.), Antoni (ur. 6 czerwca 1941 r.) i Maria (ur. 16 września 1942 r.). Małżonkowie pogłębiali swoją wiarę poprzez rodzinną modlitwę i udział w życiu parafii w Markowej, należeli m.in. do Bractwa Żywego Różańca.

Po wybuchu II wojny światowej Józef został zmobilizowany i brał udział w kampanii wrześniowej 1939 r. Podczas okupacji niemieckiej zaangażował się w pomoc Żydom. Prawdopodobnie w drugiej połowie 1942 przyjął pod swój dach ośmioro żydowskich uciekinierów z rodzin Goldmanów/"Szallów", Grünfeldów i Didnerów. Pomógł także jeszcze innej żydowskiej rodzinie wybudować ziemiankę w pobliskim lesie, a następnie zaopatrywał jej mieszkańców w żywność.
Po pewnym czasie ziemianka została odkryta przez Niemców, a czworo ukrywających się w niej Żydów (trzy kobiety i dziecko) zostało zamordowanych. Fakt udzielania przez Ulmę pomocy uciekinierom nie wyszedł wtedy na jaw. Pozostałych ośmioro Żydów ukrywało się w gospodarstwie Ulmów do wiosny 1944 r.
To wtedy Ulmowie zostali zadenuncjowani przez współpracującego z niemieckimi okupantami tzw. granatowego policjanta Włodzimierza Lesia, który wcześniej zagarnął majątek rodziny Szallów i zamierzał pozbyć się jego prawowitych właścicieli. 24 marca 1944 r. niemieccy żandarmi z posterunku w Łańcucie rozstrzelali Józefa Ulmę, a także jego żonę, będącą w zaawansowanej ciąży, oraz szóstkę ich dzieci (8-letnią Stanisławę, 6-letnią Barbarę, 5-letniego Władysława, 4-letniego Franciszka, 3-letniego Antoniego i półtoraroczną Marię). Razem z Ulmami zginęli również wszyscy ukrywani Żydzi.
Ciała zamordowanych zostały pierwotnie zakopane przed domem, w następnym tygodniu wydobyto je i złożono do czterech trumien. Pogrzeb odbył się dopiero 11 stycznia 1945 r. w parafii w Markowej, po czym wszyscy zostali pochowani na cmentarzu parafialnym.

Z inicjatywy proboszcza parafii św. Doroty w Markowej podjęto działania zmierzające do wyniesienia rodziny Ulmów na ołtarze. 17 września 2003 r. biskup pelpliński Jan Bernard Szlaga rozpoczął proces beatyfikacyjny na szczeblu diecezjalnym całej grupy męczenników II wojny światowej. Proces na szczeblu diecezjalnym zakończył się w maju 2011 r. Ze względu na wzrastającą opinię o męczeństwie rodziny Ulmów metropolita przemyski, abp Adam Szal, zwrócił się w 2017 r. do Kongregacji Spraw Kanonizacyjnych o wyłączenie tego procesu z procesu grupy męczenników II wojny światowej. W lutym 2017 r. w archidiecezji przemyskiej otwarto nowy proces beatyfikacyjny Sług Bożych – Józefa i Wiktorii Ulmów oraz ich siedmiorga dzieci jako męczenników z powodu nienawiści do wiary. W lipcu 2020 r. ukończono prace nad liczącym 500 stron dokumentem tzw. Positio o męczeństwie rodziny Ulmów.
W grudniu 2022 r. odbyła się sesja biskupów i kardynałów Dykasterii Spraw Kanonizacyjnych, która pozytywnie zaopiniowała propozycję wyniesienia ich na ołtarze jako męczenników, a papież Franciszek kilka dni później promulgował dekret o ich męczeństwie, otwierając drogę do beatyfikacji. Dekretem objęto także nienarodzone dziecko Józefa i Wiktorii, która w chwili śmierci była w siódmym miesiącu ciąży. W 2023 r. dokonano ekshumacji szczątków rodziny Ulmów, a następnie po beatyfikacji złożono do sarkofagu w bocznym ołtarzu poświęconym Matce Bożej w lewej nawie kościoła św. Doroty w Markowej.

Msza beatyfikacyjna Józefa i Wiktorii Ulmów oraz ich siedmiorga dzieci została odprawiona w Markowej 10 września 2023 r. Nabożeństwu przewodniczył przedstawiciel papieża Franciszka, prefekt Dykasterii Spraw Kanonizacyjnych, kard. Marcello Semeraro. W Eucharystii wzięło udział wielu przedstawicieli episkopatu, a także m.in. Naczelny Rabin Polski Michael Schudrich.
Liturgiczne wspomnienie błogosławionej rodziny Ulmów przypada 7 lipca, w rocznicę zawarcia małżeństwa przez Józefa i Wiktorię.

13 września 1995 r. Instytut Yad Vashem w Jerozolimie uhonorował pośmiertnie Józefa i Wiktorię Ulmów tytułem "Sprawiedliwych wśród Narodów Świata". W 2010 r. prezydent RP Lech Kaczyński odznaczył ich pośmiertnie Krzyżem Komandorskim Orderu Odrodzenia Polski. W 2016 r. w Markowej otwarto muzeum ich imienia, poświęcone wszystkim Polakom ratującym Żydów w czasie Zagłady. Od 2018 r. w rocznicę wydarzeń w Markowej - 24 marca - decyzją Prezydenta Rzeczypospolitej Polskiej obchodzony jest Narodowy Dzień Pamięci Polaków ratujących Żydów pod okupacją niemiecką.