Josef fikk sin første utdannelse i hjemmet, men som niåring ble han elev ved adelskollegiet i Vilna, hvor faren underviste. Her gjorde han det eksepsjonelt godt og tok som 17-åring eksamen med gullmedalje. Selv om han følte et prestekall, fulgte han sin fars råd og bestemte seg for å studere ved universitetet først. For en ung polakk på den tiden var dette ikke så enkelt som det høres ut. Polen, som da også omfattet det nåværende Litauen, var blitt okkupert av Russland i 1795, og landets uavhengige universiteter var blitt stengt. Alle unge menn som ønsket å fortsette sin utdannelse, måtte gå på et russisk universitet. Så Josef skrev seg inn på instituttet for agronomi i Hory Horki i Hviterussland, hvor han studerte zoologi, kjemi, jordbruk og biavl.
Men han ble ikke lenge der. Hans egentlige entusiasme var for matematikk og beslektede vitenskaper, så sammen med fetteren Lucian Polonski flyttet han til akademiet for militærteknikk i St. Petersburg. Der tok han eksamen i 1857 som løytnant i ingeniørkorpset, og i 1858 ble han sendt som direktør for selskapet som planla jernbanen fra Kursk til Odessa via Kiev. Et brev hjem til foreldrene etter at han hadde tatt opp denne posten antyder at han nettopp hadde kommet gjennom en åndelig krise.
Da arbeidet med jernbanen ble utsatt på ubestemt tid i 1860, ble Josef overført til festningen i Brest-Litovsk, og to år senere ble han forfremmet til kaptein ved generalstaben. De tre årene han tilbrakte i Brest-Litovsk var ikke bare lykkelige, hovedsakelig på grunn av den russiske dominansen og spesielt den effekten dette hadde på Den katolske kirke i Polen. Men han var ikke typen som sank ned i motløshet. Han grunnla en liten katolsk søndagsskole for ungdommer, hvor han underviste selv, og han begrenset sitt personlige forbruk for å ha penger å gi til de fattige.
Alt dette tok en slutt da det polske folkelige opprøret mot de russiske undertrykkerne brøt ut i januar 1863. Josef var så klarsynt og familiær med det russiske militærsystemet at han skjønte opprøret måtte ende med fiasko. Men han anerkjente opprørernes rettferdige sak, og han forsto også at han ved å slutte seg til dem kunne være i stand til å oppmuntre en slags skadebegrensning. Så han ga opp sin militære karriere, sluttet seg til opprørerne og ble utnevnt til krigsminister for Vilna-regionen - en post han aksepterte under forutsetning av at han ikke måtte avsi dødsdom over noen. Faktisk tilbrakte han de neste ti månedene med å gjøre hva han kunne for å redde liv.
Men han ble overvåket av russerne, og mindre enn et år senere, den 25. mars 1864, ble han arrestert. Den 2. juni ble han dømt til døden, men han var så velkjent og så populær at de russiske myndighetene fryktet at han ville bli utropt til martyr. Derfor gjorde de om dommen til ti års hardt tvangsarbeid i Sibir. Den 29. juni begynte han sammen med en lang rekke andre på den grusomme reisen, som tok ni måneder til fots.
Under det umenneskelige arbeidet i de sibirske gruvene de neste ni årene klaget han aldri. Han delte det han hadde, og gjennom sine ord og sitt forbilledlige eksempel var han en konstant styrke for sine medfanger. Han synes å ha gjennomgått en dyp indre forandring da han ble satt fri fra arbeidet i saltgruvene og i juli 1868 ble tvunget til å bosette seg i Irkutsk. Der fant han en venn i den polske presten Krzystof Szwernicki, som hadde hele Sibir som sitt sogn. Sammen underviste de barna til innbyggerne der og forberedte dem på sin første kommunion. Imens begynte Josef under Krzystofs veiledning å forberede seg på det han nå forsto var hans sanne kall. Da han endelig ble satt fri våren 1873, var hans eneste ønske å tre inn i et kloster.
Det er muligens karakteristisk at han ikke straks tok den endelige avgjørelsen om dette. Han dro først til sin familie, men en av betingelsene ved løslatelsen var at han ikke bosatte seg i Litauen. Han kunne ha blitt i Polen, men de fleste klostrene der var blitt stengt. Så bedrøvet forlot han familien og dro i stedet av gårde til Paris, hvor han i tre år arbeidet som lærer for prins Ladislas Czartoryskis sønn, den ærverdige fyrst August Czartoryski, en av de første salesianerne og kandidat til saligkåring.
Rafael var en betydelig lærer og åndelig veileder. Hans store ambisjon var å revitalisere fullstendig karmelittordenen i Polen, og han ønsket at bønn skulle være kilden og det veiledende prinsippet for denne fornyelsen, akkurat som den var i hans eget liv. Det var autentisiteten i hans bønn som tiltrakk andre til ham og fikk ham til å tilbringe timer i skriftestolen hvor han ga klok og ærlig veiledning. Hans andre store ønske var at alle kristne kunne slutte seg sammen igjen under en øverste hyrde, og han arbeidet utrettelig for dette, spesielt for Russlands omvendelse, selv etter at han var begynt å føle at alderen tynget.
I 1904 ba Rafaels overordnede ham om å skrive sine memoarer. Han startet på arbeidet, men hans helse var allerede begynt å svikte. Etter tallrike alvorlige sykdommer døde Rafael Josef Kalinowski den 15. november 1907 i karmelittklosteret i Wadowice i Polen, 72 år gammel. Nyheten spredte seg fort, og folk samlet seg for å ære den mannen de allerede var overbevist om at var en helgen. Han ble gravlagt på klosterkirkegården i Czerna.
Wadowice er byen der kirkehistoriens første polske pave skulle bli født 13 år senere. Rafaels saligkåringsprosess ble offisielt åpnet i 1952. Den 11. oktober 1980 ble hans heroiske dyder anerkjent, og han fikk da tittelen Venerabilis, «Ærverdig». Etter at et mirakel på hans forbønn ble anerkjent av Helligkåringskongregasjonen den 7. oktober 1982, ble han saligkåret den 22. juni 1983 i Kraków av nettopp pave Johannes Paul II.
Den 10. juli 1990 undertegnet paven dekretet fra Helligkåringskongregasjonen som anerkjente et nytt mirakel på hans forbønn, helbredelsen av et lite barn. Det åpnet veien for hans helligkåring, og den skjedde den 17. november 1991 i Peterskirken i Roma. Hans minnedag oppgis vanligvis til dødsdagen 15. november, men på ulike karmelittiske websider oppgis 19. november. Karmelittsøstrene i Tromsø feirer ham den 20. november. Den nye katedralen «Marias rene hjerte» i den østsibirske storbyen Irkutsk, hvor Rafael hadde tilbrakt sin forvisning, ble vigslet den 8. september 2000. Den inneholder relikvier fra de hellige Teresa av Lisieux og Rafael Kalinowski.