Urodził się we Włoszech 25 listopada 1881 r. jako Angelo Giuseppe Roncalli, w biednej rodzinie chłopskiej. Jego matka była osobą bardzo religijną. Urodziła 11 dzieci, z których Angelo przyszedł na świat jako czwarty. Charakteryzowała go niezwykła dobroć, ciepło i pogoda ducha.
Mając 12 lat wstąpił do niższego seminarium duchownego w Bergamo, które było wówczas jednym z najbardziej prestiżowych miejsc kształcenia przyszłych księży. Tam też został przyjęty do III Zakonu św. Franciszka (1 marca 1896 r.). Po otrzymaniu stypendium za wyniki w nauce, rozpoczął naukę w Papieskim Seminarium Rzymskim. W 1902 roku przerwał naukę na rok, żeby odbyć służbę wojskową. Po jej zakończeniu obronił doktorat z teologii i przyjął święcenia kapłańskie. Rok po podjęciu nauki w seminarium zaczął spisywać swoje notatki duchowe i kontynuował tę pracę aż do późnej starości. Jego zapiski wydane zostały pod tytułem "Dziennik duszy". W 1903 roku napisał w nim między innymi: "Bóg pragnie, abyśmy podążali wzorem świętych poprzez czerpanie z życiodajnej esencji ich cnót, a następnie przerabianie jej na swój własny sposób, adaptowanie do naszych indywidualnych możliwości i okoliczności życia. Gdyby św. Alojzy był taki, jak ja, stałby się świętym w zupełnie inny sposób".
Jako młodemu księdzu powierzono mu funkcję sekretarza biskupa Bergamo, Giacomo Radiniego Tedeschi. W tym czasie wykładał też w seminarium, redagował biuletyn "Życie diecezjalne", współpracował również z innym lokalnym pismem katolickim, a także był duszpasterzem Akcji Katolickiej. Inspirowała go zwłaszcza postawa świętych: Karola Boromeusza, Franciszka Salezego i Grzegorza Barbarigo.
W 1925 mianowany został oficjałem w Bułgarii i arcybiskupem Areopolis. Jako swoje hasło biskupie Angelo Roncalli wybrał Obedientia et Pax (Posłuszeństwo i pokój). W późniejszych latach pełnił funkcję kolejno: apostolskiego delegata w Bułgarii, w Turcji i Grecji oraz nuncjusza apostolskiego w Paryżu. Tę ostatnią funkcję sprawował już w czasie trwania II wojny światowej.
W 1953 roku Angelo Roncalli został mianowany kardynałem i patriarchą Wenecji. Prezydent Francji, Vincent Auriol, powołał się na stary przywilej francuskich królów i sam włożył czerwony kapelusz na głowę kardynała Roncalli w czasie ceremonii w Pałacu Elizejskim. Z tego okresu przyszły papież zapamiętał pewne humorystyczne zdarzenie, kiedy to na jednym z oficjalnych przyjęć, na jakie został zaproszony, pojawiła się kobieta w sukni z zadziwiająco dużym dekoltem. Zwróciło to uwagę nie tyle na samą kobietę, co na kardynała - goście przyglądali się jego reakcji na odsłonięte kobiece wdzięki. Po przyjęciu kardynał podszedł do kobiety, wręczył jej czerwone jabłko i zapytał: "Pamięta Pani, co uświadomiła sobie Ewa, kiedy zjadła jabłko?".

W 1958 roku, po śmierci Piusa XII, podczas trzydniowego konklawe, kard. Roncalli został wybrany papieżem. Jego pierwszą reakcją był strach i zmieszanie wyrażone w słowach: tremens factus sum ego timero (drżę i lękam się). Ufny w wybór biskupów i Bożą Opatrzność, Angelo Roncalli przyjął wybór konklawe, a wraz z nim imię Jana XXIII. Przez zebranych na konklawe biskupów był traktowany jako "papież przejściowy". Ich faworytem był arcybiskup Mediolanu Montini, ale ten nie był w tamtym czasie jeszcze kardynałem. Godność tę otrzymał później z rąk samego Jana XXIII, a jeszcze później został jego następcą jako Paweł VI.
Jan XXIII jako papież podbił serca wiernych. Zawsze otwarty na kontakty z prasą, patrzył odważnie w obiektyw aparatu. Był pierwszym papieżem od 1870 r., który odbył oficjalne spotkanie poza Watykanem. Spotkał się wówczas z więźniami, którzy sami do niego przyjść nie mogli. Słynął także ze zdystansowanego podejścia do ceremoniału papieskiego. Starał się go przestrzegać, ale z przymrużeniem oka. Anegdotyczna opowieść dotycząca dnia koronacji Jana XXIII na papieża mówi, że kiedy podszedł do niego po błogosławieństwo włoski ordynariusz polowy, zobaczył, jak papież przyjmuje postawę zasadniczą i usłyszał: "Panie generale, melduje się sierżant Roncalli". Przez ludzi zapamiętany został jako papież, który palił fajkę i zawsze się uśmiechał, a przede wszystkim jako papież, który zwołał Sobór Watykański II i na zawsze zmienił historię Kościoła.
Sobór Watykański II zwołano, ku zdziwieniu wielu, na mniej niż 90 lat po kontrowersyjnym Soborze Watykańskim I. Ponadto, pomimo zapewnień sekretarzy, że na przygotowania potrzeba dziesiątek lat - Jan XXIII przewidział tylko kilkanaście miesięcy pomiędzy zwołaniem a rozpoczęciem soboru 11 października 1962 r.

Jan XXIII ogłosił osiem encyklik, z których najważniejsze to "Mater et Magistra" oraz "Pacem in terris". Ta druga adresowana była do "wszystkich ludzi dobrej woli", nawoływała do pokoju między narodami całego świata. Papież ustanowił komisję ds. rewizji prawa kanonicznego, której ostatecznym celem było opracowanie nowego Kodeksu Prawa Kanonicznego (opublikowanego w 1983 r.). Wiele ojcowskiej troski wykazał o "Kościół milczenia", prześladowany na różne sposoby w krajach rządzonych przez komunistów, m.in. w Polsce.
3 czerwca 1963 roku, o godzinie 19:49 (dzień po Zesłaniu Ducha Świętego), w wyniku krwotoku związanego z wcześniej zdiagnozowanym rakiem żołądka, Jan XXIII zmarł. Jego ostatnie słowa brzmiały: "Nie mam innej woli, jak tylko wolę Boga. Ut unum sint!" (Aby byli jedno!). W swoim testamencie, nawiązując do duchowości franciszkańskiej, z jaką związał się we wczesnych latach młodości, pisał: "Pozory dostatku często zasłaniały ukryte ciernie dotkliwego ubóstwa i uniemożliwiały mi dawanie zawsze z taką hojnością, jakiej bym pragnął. Dziękuję Bogu za tę łaskę ubóstwa, które ślubowałem w młodości, ubóstwa ducha, jako kapłan Serca Bożego, i ubóstwa rzeczywistego, co mi dopomogło, by nigdy o nic nie prosić, ani o stanowiska, ani o pieniądze, ani o względy, nigdy, ani dla siebie, ani dla mojej rodziny, czy przyjaciół".
Św. Jan Paweł II ogłosił go błogosławionym w 2000 roku, razem z papieżem Piusem IX. W liturgii wspominany jest 11 października - w rocznicę dnia, w którym nastąpiło uroczyste otwarcie Soboru Watykańskiego II.
Jan XXIII został kanonizowany przez papieża Franciszka - wraz z Janem Pawłem II - na placu św. Piotra w Rzymie w niedzielę Miłosierdzia Bożego, 27 kwietnia 2014 r.