Józef urodził się 17 stycznia 1842 roku w Korczynie koło Krosna, w rodzinie Wojciecha i Marianny, średniozamożnych rolników. Jeszcze przed urodzeniem został ofiarowany Najświętszej Maryi Pannie przez swoją pobożną matkę. Ochrzczony został w dwa dni po urodzeniu. Wzrastał w głęboko religijnej atmosferze. Od szóstego roku życia był ministrantem w kościele parafialnym. Po ukończeniu szkoły w Korczynie kontynuował naukę w Rzeszowie. Zdał egzamin dojrzałości w 1860 roku i wstąpił do seminarium duchownego w Przemyślu. 17 lipca 1864 r. przyjął święcenia kapłańskie. Podjął pracę jako wikariusz w Samborze. W 1865 r. został skierowany na studia w Kolegium Polskim w Rzymie, na których uzyskał doktoraty z teologii i prawa kanonicznego. Oddawał się w tym czasie głębokiemu życiu wewnętrznemu i zgłębiał dzieła ascetyków. Zaowocowało to jego pracą zatytułowaną Życie duchowe, czyli doskonałość chrześcijańska. Przez dziesiątki lat służyła ona zarówno kapłanom, jak i osobom świeckim.
Po powrocie do kraju w październiku 1869 r. został wykładowcą teologii pastoralnej i prawa kościelnego w seminarium przemyskim, a w latach 1877-1899 był profesorem i rektorem Uniwersytetu Jagiellońskiego. Obok zajęć uniwersyteckich był również znakomitym kaznodzieją, zajmował się też działalnością kościelno-społeczną. Odznaczał się gorliwością i szczególnym nabożeństwem do Najświętszego Sakramentu, do Serca Bożego i Najświętszej Maryi Panny, czemu dawał wyraz w swej bogatej pracy pisarskiej i kaznodziejskiej. Podczas pobytu w Krakowie blisko związany był z franciszkanami konwentualnymi, mieszkał przez siedem lat w klasztorze przy ul. Franciszkańskiej. Wówczas wstąpił do III Zakonu św. Franciszka, a profesję zakonną złożył w Asyżu, przy grobie Biedaczyny.
W trosce o najbardziej potrzebujących oraz o rozszerzenie Królestwa Serca Bożego w świecie założył w Krakowie w 1894 r. Zgromadzenie Służebnic Najświętszego Serca Jezusowego (sercanek).
W 1899 r. został biskupem pomocniczym, a 17 grudnia 1900 r. ordynariuszem diecezji przemyskiej. Jako gorliwy arcypasterz dbał o świętość diecezji. Był mężem modlitwy, z której czerpał natchnienie i moc do pracy apostolskiej. Ubodzy i chorzy byli zawsze przedmiotem jego szczególnej troski. Jego rządy były czasem wielkiej troski o podniesienie poziomu wiedzy duchowieństwa i wiernych. W tym celu często gromadził księży na zebrania i konferencje oraz pisał wiele listów pasterskich. Popierał bractwa i sodalicję mariańską. Przeprowadził także reformę nauczania religii w szkołach podstawowych. Z jego inicjatywy powstał w diecezji Związek Katolicko-Społeczny. Zwiększył o 57 liczbę placówek duszpasterskich. Dzięki pomocy biskupa sufragana Karola Fischera dokonywał często wizytacji kanonicznych w parafiach.
W 1901 roku powołał do życia redakcję miesięcznika Kronika Diecezji Przemyskiej. W 1902 roku urządził bibliotekę i muzeum diecezjalne, założył Małe Seminarium i odnowił katedrę przemyską. Jako jedyny biskup w tamtych czasach, pomimo zaborów, odważył się w 1902 roku zwołać synod diecezjalny po 179 latach przerwy, aby oprzeć działalność duszpasterską na mocnym fundamencie prawa kościelnego. Wśród tych wszechstronnych zajęć przez cały czas prowadził także działalność pisarską. Posiadał rzadką umiejętność doskonałego wykorzystywania czasu. Każdą chwilę umiał poświęcić dla chwały Bożej i zbawienia dusz. Był ogromnie pracowity, systematyczny i roztropny w podejmowaniu ważnych przedsięwzięć, miał doskonałą pamięć. Oszczędny dla siebie, hojnie wspierał wszelkie dobre i potrzebne inicjatywy.
Zmarł w Przemyślu 28 marca 1924 roku w opinii świętości. Beatyfikowany został w Rzeszowie 2 czerwca 1991 roku przez św. Jana Pawła II. Papież podczas homilii mówił wtedy m.in.:

Święci i błogosławieni stanowią żywy argument na rzecz tej drogi, która wiedzie do królestwa niebieskiego. Są to ludzie - tacy jak każdy z nas - którzy tą drogą szli w ciągu swego ziemskiego życia i którzy doszli. Ludzie, którzy życie swoje budowali na skale, na opoce, jak to głosi psalm: na skale, a nie na lotnym piasku (por. Ps 31, 3-4). Co jest tą skałą? Jest nią wola Ojca, która wyraża się w Starym i Nowym Przymierzu. Wyraża się w przykazaniach Dekalogu. Wyraża się w całej Ewangelii, zwłaszcza w Kazaniu na górze, w ośmiu błogosławieństwach. Święci i błogosławieni to chrześcijanie w najpełniejszym tego słowa znaczeniu. Chrześcijanami nazywamy się my wszyscy, którzy jesteśmy ochrzczeni i wierzymy w Chrystusa Pana.

18 maja 2003 r. św. Jan Paweł II kanonizował Józefa Sebastiana Pelczara razem z bł. Urszulą Ledóchowską. Powiedział wtedy:

Dewizą życia biskupa Pelczara było zawołanie: "Wszystko dla Najświętszego Serca Jezusowego przez niepokalane ręce Najświętszej Maryi Panny". To ono kształtowało jego duchową sylwetkę, której charakterystycznym rysem jest zawierzenie siebie, całego życia i posługi Chrystusowi przez Maryję.
Swoje oddanie Chrystusowi pojmował nade wszystko jako odpowiedź na Jego miłość, jaką zawarł i objawił w sakramencie Eucharystii. "Zdumienie - mówił - musi ogarnąć każdego, gdy pomyśli, że Pan Jezus, mając odejść do Ojca na tron chwały, został z ludźmi na ziemi. Miłość Jego wynalazła ten cud cudów, (...) ustanawiając Najświętszy Sakrament". To zdumienie wiary nieustannie budził w sobie i w innych. Ono prowadziło go też ku Maryi. Jako biegły teolog nie mógł nie widzieć w Maryi Tej, która "w tajemnicy Wcielenia antycypowała także wiarę eucharystyczną Kościoła"; Tej, która nosząc w łonie Słowo, które stało się Ciałem, w pewnym sensie była "tabernakulum" - pierwszym "tabernakulum" w historii (por. encyklika Ecclesia de Eucharistia, 55). Zwracał się więc do Niej z dziecięcym oddaniem i z tą miłością, którą wyniósł z domu rodzinnego, i innych do tej miłości zachęcał. Do założonego przez siebie Zgromadzenia Służebnic Najświętszego Serca Jezusowego pisał: "Pośród pragnień Serca Jezusowego jednym z najgorętszych jest to, by Najświętsza Jego Rodzicielka była czczona od wszystkich i miłowana, raz dlatego, że Ją Pan sam niewypowiedzianie miłuje, a po wtóre, że Ją uczynił Matką wszystkich ludzi, żeby Ona swą słodkością pociągała do siebie nawet tych, którzy uciekają od świętego Krzyża, i wiodła ich do Serca Boskiego".

Relikwie św. Józefa Sebastiana Pelczara znajdują się w przemyskiej katedrze. W szczególny sposób święty biskup jest czczony w krakowskim kościele sercanek, gdzie znajduje się poświęcona mu kaplica.

W ikonografii św. Józef Pelczar przedstawiany jest w stroju biskupim.