Jan urodził się w Toskanii. Był synem Konstansa. Stolicę Piotrową objął 13 sierpnia 523 r. po swoim poprzedniku, Hormizdasie. Był już podeszły w latach i schorowany. Zawdzięczamy mu wprowadzenie do kalendarza sposobu liczenia czasu od narodzin Pana Jezusa, według obliczeń Dionizego Małego, mnicha syryjskiego.
Gdy cesarz Justynian wydał dekret, nakazujący arianom zwrot wszystkich kościołów katolikom, król Ostrogotów, Teodoryk, przymusił papieża Jana, aby udał się do Konstantynopola w celu złagodzenia zarządzenia. Miało to umożliwić powrót do arianizmu antytrynitarzom zmuszonym do przejścia na katolicyzm. Jan I został przyjęty na dworze cesarskim z honorami. Dokonał koronacji cesarza. Po powrocie do Rawenny, stolicy Ostrogotów, Jan I przedłożył utrzymanie edyktu cesarskiego. Z powodu nieuzyskania zgody na rekonwersję arian, został przez króla siłą uwięziony. 18 maja 526 r. zmarł w więzieniu. Dla zatuszowania zbrodni Teodoryk zezwolił na uroczysty pogrzeb z udziałem licznego duchowieństwa i wiernych. Według relacji ówczesnego biskupa Rawenny, Maksyma, w czasie pogrzebu miał zostać uwolniony od szatana pewien opętany.
Cztery lata później, w 530 r., ciało Jana I przeniesiono do Rzymu i pochowano w przedsionku bazyliki św. Piotra z napisem: Biskup Pana, Ofiara Chrystusa.

W ikonografii św. Jan I przedstawiany jest w stroju papieża. Jego atrybutem jest więzienie.