Jak pisze św. Jan Ewangelista, Józef z Arymatei "był uczniem [Jezusa], lecz ukrytym z obawy przed Żydami" (por. J 19, 38). Żaden z Ewangelistów nie wspomina o jakichkolwiek kontaktach Józefa z Jezusem czy Jego uczniami. Arymatea była niewielkim miasteczkiem, leżącym ok. 50 km na północ od Jerozolimy.
Józef z Arymatei był członkiem Sanhedrynu, najwyższej władzy żydowskiej w zakresie spraw państwowych, prawnych i religijnych (Łk 23, 50-53; Mt 27, 57-58; Mk 15, 42-46; J 19, 38-42). Św. Łukasz stwierdza, że Józef "nie zgodził się na uchwałę i postępowanie Wysokiej Rady" (por. Łk 23, 51), polegające na prześladowaniu Jezusa. Ewangeliści Mateusz i Marek, identycznie jak św. Łukasz, stwierdzają, że Józef śmiało poprosił Piłata o ciało Jezusa, kupił płótna, zdjął ciało z krzyża i złożył w grobie, który wykuty był w skale, a przed wejście zatoczył kamień. Mateusz dodaje, że był to grób, który Józef wykuł dla siebie (por. Mt 27, 57-60; Mk 15, 42-46).

Według późnośredniowiecznej legendy o królu Arturze i rycerzach okrągłego stołu, arcykapłani na wieść o zmartwychwstaniu Jezusa wtrącili Józefa z Arymatei do lochu. Jezus nie zapomniał jednak oddanej Mu przysługi i po swym zmartwychwstaniu miał mu się ukazać w więzieniu, przekazując kielich, do którego według jednych Nikodem, a według innych - Józef - zebrał po zdjęciu z krzyża krew, jaka wypływała z ran Jezusa. Był to ten sam kielich, którym Jezus posługiwał się podczas Ostatniej Wieczerzy. Kielich ten, nazwany Graalem, stanowi główny wątek tej legendy. Mówi ona, że Józefa po kilku latach miał uwolnić z więzienia sam cesarz, który zabrał go do Rzymu. Potem wysłał Józefa do Anglii, gdzie kielich niebawem zaginął. Poszukiwali go rycerze króla Artura: Lancelot i Persifal.
Legenda ta posiada kilka wariantów. Według innej wersji, Józef przekazał kielich w spadku swoim synom. Przekazywany z pokolenia na pokolenie, trafił w ręce patriarchy Jerozolimy, który w 1257 r. ofiarował go królowi Anglii Henrykowi III. Inna legenda utrzymuje, że Józef razem z Łazarzem, Martą i Marią, uciekając przed prześladowaniami, dopłynęli statkiem do Marsylii, gdzie głosili Dobrą Nowinę o Jezusie. Jeszcze inna legenda ukazuje Józefa w Hiszpanii, dokąd udał się razem ze św. Jakubem Apostołem, który ustanowił go tam biskupem.

W ikonografii św. Józef występuje przeważnie wraz ze św. Nikodemem w scenach zdjęcia z krzyża, złożenia do grobu i opłakiwania Jezusa.