Kasper urodził się 6 stycznia 1786 r. w Rzymie, ochrzczony został dzień później w rzymskim kościele San Martino ai Monti. 6 sierpnia 1787 r. przyjął w domu bierzmowanie z powodu groźby śmierci. W 1788 r. został uzdrowiony z choroby oczu za wstawiennictwem św. Franciszka Ksawerego.
Ojciec Kaspra, Antoni, był kucharzem, matka - Anuncjata z domu Quartieroni - zajmowała się synem, bo był on chorowitym chłopcem. Od najmłodszych lat często przebywał w kościele, a zapał, z jakim poznawał prawdy wiary sprawił, że zyskał przydomek "małego apostoła Rzymu". Chciał być misjonarzem. Gdy miał dziewiętnaście lat, został przełożonym nowej szkoły katechetycznej przy Santa Maria del Pianto. Często przemawiał w kościołach i na placach Rzymu, mówił jasnym i prostym językiem. Zajmował się też ewangelizacją prostych, biednych ludzi z wiosek. Ze szczególną miłością zajmował się obłożnie chorymi w hospicjach i szpitalach. W latach 1797-1808 studiował w Collegium Romanum w Rzymie od pierwszego kursu łaciny aż do ukończenia teologii.
Dnia 31 lipca 1808 r. otrzymał święcenia kapłańskie w kościele Misjonarzy św. Wincentego a Paulo w Montecitorio i został mianowany kanonikiem przy bazylice San Marco. Zajmował się wiernymi w ubogich dzielnicach miasta. Gdy Napoleon zajął Rzym i deportował papieża, a od kapłanów zażądał złożenia przysięgi na wierność sobie, Kasper, kierując się wiernością Ojcu Świętemu, 13 czerwca 1810 r. odmówił złożenia przysięgi. Został za to zesłany do Piacenzy, a później do Bolonii. 13 września 1812 r. został uwięziony w San Giovanni in Monte, w Bolonii, za powtórne odmówienie złożenia przysięgi na wierność Napoleonowi. 12 stycznia 1813 r. przewieziono go do więzienia w Imoli. Gdy 16 maja 1813 r. po raz trzeci odmówił złożenia przysięgi, został przewieziony do fortecy w Lugo, a 10 grudnia skazano go na wyjazd na Korsykę.
W lutym 1814 r., po czterech latach wygnania i niewoli, Kasper wrócił do Rzymu. Liczył na to, że teraz za przykładem św. Franciszka Ksawerego, którego chciał naśladować, zostanie misjonarzem. Jednak wówczas powierzono mu, wraz z grupą księży i za zgodą papieża, głoszenie nauk rekolekcyjnych i misji ludowych na terenie Włoch. Chciał wstąpić do jezuitów, ale jego spowiednik i przewodnik duchowy poradził mu, by założył własny zakon. Ponieważ chciał przybliżyć wiernym tajemnicę Krwi Chrystusa, założył, wraz z trzema towarzyszami, Zgromadzenie Misjonarzy Krwi Chrystusa. Miało to miejsce w opactwie w San Felice w Giano, w dniu Wniebowzięcia Najświętszej Maryi Panny, 15 sierpnia 1815 r. Bardzo szybko papież Pius VII zaakceptował nazwę i to on ofiarował pierwszą siedzibę.
W styczniu 1821 r. Kasper wstawił się u papieża w sprawie ocalenia miasta Sonnino, które miało być ukarane z powodu istniejącego tam rozboju. Dlatego Pius VII powierzył mu uzdrowienie moralne całej prowincji dotkniętej bandyckimi napadami. W czasie swojej posługi Kasper mocno naraził się karbonariuszom, których zwalczał. Oskarżano go nawet przed papieżem. Reakcję papieża Leona XII, który w rezultacie pomówień wycofał udzielone pełnomocnictwa i gotów był rozwiązać założoną przez Kaspra kongregację, zniósł z pokorą i w rezultacie niebawem mógł znowu podjąć przerwaną działalność. 15 sierpnia 1825 r. papież zorientował się, że oskarżenia skierowane przeciwko Kasprowi były fałszywe. W lutym następnego roku chciał go nominować na biskupa, internuncjusza w Brazylii, ale Kasper odmówił przyjęcia tej godności. Pozostał w Rzymie i pracował w Kongregacji Rozkrzewiania Wiary, a w październiku 1826 r. wrócił do pracy w swoim zgromadzeniu. W 1834 r. pomógł św. Marii de Mattias założyć Zgromadzenie Sióstr Adoratorek Krwi Chrystusa.
W dwa lata później był już tak wyczerpany, że musiał zmniejszyć swoją aktywność. Jednak gdy w grudniu 1837 r. dowiedział się, że w Rzymie wybuchła epidemia cholery, pośpieszył do miasta, by nieść posługę kapłańską wśród umierających na ulicach. Wygłaszał dla nich ostatnie nauki rekolekcyjne. Gdy sam zachorował, 27 grudnia 1837 r. w Albano otrzymał sakrament namaszczenia chorych, a dzień później zmarł. Pochowano go w kościele San Paolo w Albano. Beatyfikował go w bazylice św. Piotra w Rzymie papież Pius X dnia 18 grudnia 1904 r., a kanonizował w pięćdziesiąt lat później papież Pius XII.

Święty Kasper uznawany jest za jednego z patronów osób cierpiących na choroby nowotworowe.