Ildefons pochodził prawdopodobnie ze znakomitej rodziny wizygocko-hiszpańskiej. Od młodości tęsknił za życiem oddanym Panu Bogu. Kiedy więc w domu natrafił na stanowczy sprzeciw, uciekł do pobliskiego klasztoru świętych Kosmy i Damiana w Agala (dzisiaj przedmieście Toledo). Wybrany niebawem opatem tego klasztoru, położył nacisk na karność zakonną.
Brał czynny udział w życiu Kościoła w Hiszpanii. Uczestniczył w 10 synodach, których był inspiratorem i duszą. Na jednym z nich w roku 659 przeforsował ustanowienie święta Oczekiwania Narodzenia Pana Jezusa (18 grudnia), bowiem uroczystość Zwiastowania i Poczęcia Chrystusa Pana przypadała w Wielkim Poście (25 III), co Świętemu wydawało się niezgodne z duchem liturgii. Miał ułożyć nawet do nowego święta teksty liturgiczne.
Po śmierci biskupa Toledo, św. Eugeniusza II, Ildefons został jednogłośnie wybrany na jego miejsce. Trzeba przyznać, że jego rządy nie były łatwe. Dążył do zaprowadzenia karności kościelnej, co przysporzyło mu wrogów. Występował również przeciwko swobodzie obyczajów możnych i dworu królewskiego, co również nie przymnożyło mu przyjaciół.
Rządził swoją archidiecezją przez 10 lat (657-667). Utrudzony pasterzowaniem, zasnął w Panu 23 stycznia 667 roku. Jego ciało złożono w bazylice św. Leokadii w Toledo. Kiedy jednak Arabowie zajęli to miasto, relikwie Ildefonsa przeniesiono do miasta Zamora, do kościoła św. Piotra. Następcą Ildefonsa na stolicy biskupiej w Toledo został św. Julian (+ 690). Zebrał on troskliwie wszystkie pisma, jakie zostawił jego poprzednik. Wśród nich wyróżnia się pierwszy napisany w Hiszpanii traktat mariologiczny O wieczystym dziewictwie NMP, polemizujący z Jowinianem, Helwidiuszem i z Żydami. Szczególne znaczenie dla historii katechumenatu i liturgii chrztu ma traktat Ildefonsa O poznaniu chrztu. Charakter wybitnie ascetyczny ma dziełko O drodze na pustyni. Jednakże dziełem, które zyskało mu największą sławę, to rozprawa O pismach słynnych mężów. Z jego korespondencji zachowały się jedynie dwa listy. Ponadto św. Ildefons zostawił hymny, modlitwy i teksty liturgiczne.