Euzebiusz urodził się w Ostrzyhomiu (dzisiaj to węgierskie miasto nosi nazwę Esztergom) około roku 1200. Pochodził z bogatej, chrześcijańskiej rodziny. Już w dzieciństwie i wczesnej młodości stronił od pustych zabaw, dowcipów i ucztowania, pamiętając o słowach proroka Jeremiasza: "Dobrze jest dla męża, gdy dźwiga jarzmo w swojej młodości" (Lm 3, 27). Naukę rozpoczął w szkole katedralnej w swoim mieście. Tam też otrzymał święcenia kapłańskie, a potem był kanonikiem katedralnym. Już wtedy wyróżniał się pobożnością i niezwykłą hojnością wobec biednych.
Podczas najazdu Tatarów w roku 1241 ratował swoje życie ukrywając się w lasach Pilisium (Pecs), gdzie spotkał wielu świętych mężów, żyjących samotnie. W 1246 r., rozdawszy cały swój majątek biednym, za zgodą biskupa z kilkoma towarzyszami rozpoczął życie pustelnicze w pobliżu Szanto. Było ono wypełnione pokutą i kontemplacją. Wspólnota w klasztorze pod wezwaniem Świętego Krzyża przyjęła tę samą surową regułę, co eremici z drugiego klasztoru św. Jakuba, założonego w 1215 r. przez biskupa Bartłomieja z Peczu, na górze Patacs. Wkrótce Euzebiusz doprowadził do połączenia tych klasztorów i został przełożonym pustelników naddunajskich. Nadał nowemu zgromadzeniu nazwę Zakon Braci św. Pawła, Pierwszego Pustelnika, i już jako prowincjał zabiegał o jego zatwierdzenie przez Stolicę Apostolską. W 1263 roku na kapitule przyjęto tę nazwę. Papież Klemens V zatwierdził zakon paulinów w 1308 roku.
Euzebiusz z Ostrzyhomia zmarł 20 stycznia 1270 r. Jego ciało pochowano ze czcią w klasztorze Św. Krzyża. Niestety, podczas najazdów Turków na Węgry w XIII w. jego grób uległ zniszczeniom. Mimo to kult Euzebiusza w zakonie paulinów nadal się rozwijał. Szczególnie bogata jest ikonografia powstała w kościołach i klasztorach paulińskich w XVI oraz XVII w. Mimo że nigdy nie był beatyfikowany, paulini przypisywali mu tytuł błogosławionego. Uznając racje tego zakonu, Kongregacja Kultu Bożego i Dyscypliny Sakramentów zatwierdziła 16 listopada 2004 r. nowy Kalendarz Liturgiczny paulinów, w którym zezwoliła na włączenie do niego pod datą 20 stycznia święta bł. Euzebiusza z Ostrzyhomia - kapłana i Założyciela Zakonu.