Han ble hos dem i tre år, og der fikk han beskjeden om at faren var død. Han gjorde et fordelaktig inntrykk på alle, inkludert to kapusinerbrødre som kom til hans beskytteres hjem. De sendte en så fordelaktig rapport om gutten til hans onkel, som da var provinsialminister for kapusinerne, at en fetter, Lorenzo de Rossi, som var kannik ved kirken Santa Maria in Cosmedin i Roma, inviterte ham til byen. Tilbudet ble akseptert, og som 13-åring begynte han sine høyere studier ved jesuittenes Collegio Romano, som var datidens beste skole.
Han hadde fullført den klassiske delen av utdannelsen da han leste en asketisk bok som fikk ham til å begynne med omfattende botsøvelser. Men samtidig kjente han ikke noen begrensning i sin leselyst, og kombinasjonen av harde studier og streng askese førte til et fullstendig sammenbrudd som han skulle få lide for gjennom hele livet. Han måtte forlate Collegio Romano, men han kom seg så pass at han kunne fullføre utdannelsen på dominikanernes mindre krevende skole ved Santa Maria di Minerva, men han fikk aldri helsen helt tilbake og måtte snart gi opp håpet om en lærd karriere. På denne tiden begynte han å lide av epileptiske anfall, og denne sykdommen skulle plage ham resten av livet.
Den 8. mars 1721 ble Johannes Baptist presteviet, 23 år gammel, og hans første messe ble feiret i Collegio Romano. Allerede i sine studiedager hadde han hatt for vane å besøke hospitalene, og nå når han var prest, kunne han gjøre langt mer for pasientene. Han hadde en spesiell kjærlighet for hospitset St. Galla, et nattlig tilfluktssted for fattige, som var grunnlagt av pave Celestin III (1191-98). I førti år delte han sin tid mellom beboerne i St. Galla, som han trøstet og underviste, sykehuset Trinità dei Pellegrini og folket i området, som han tjenestegjorde for.
Det fantes også andre fattige mennesker som han oppdaget at ingen tok seg av. For eksempel gjaldt det kvegdriverne som kom fra landet for å selge sine dyr i markedet som den gangen ble holdt på Forum Romanum. Tidlig på morgenen og sent på kvelden pleide han å gå blant dem, vant deres tillit, underviste dem og forberedte dem for sakramentene. En annen gruppe han også tok seg av, var de hjemløse kvinnene og jentene som gikk omkring og tigde, eller som gikk gatelangs som prostituerte om nettene.
Johannes Baptist hadde absolutt ingen penger bortsett fra det lille han fikk som messestipend, men ved hjalp av 500 scudi fra en vennligsinnet person og 400 scudi fra paven leide han et hus bak hospitset St. Galla og gjorde det til et tilfluktssted for hjemløse kvinner under beskyttelse av den hellige Aloisius Gonzaga. Han ble en venn og åndelig far for Romas fattige og syke, en trøster for de utstøtte, en rådgiver for de enfoldige og ulærde. De velstående oppmuntret ham til å grunnlegge veldedige foreninger, og med disses hjelp bygde han opp flere barnehjem for foreldreløse. I Romas fengsler ble han de fangnes fortrolige, og for alle som ble plaget av sin samvittighet, var han en barmhjertig skriftefar. Om sin tro talte han med enkle ord, som nådde menneskenes hjerte, og han ble en ny apostel for pavenes by, slik som den hellige Filip Neri hadde vært 150 år tidligere.
I 1731 sørget kannik Rossi for at hans slektning fikk stilling som assistentprest i kirken Santa Maria in Cosmedin ved foten av Aventin-høyden. Kirken hadde hatt få besøkende, delvis på grunn av sin beliggenhet, men snart begynte den å fylles av botferdige syndere fra alle klasser som flokket seg om Johannes Baptists skriftestol. Da Lorenzo de Rossi døde i 1736, fikk fetteren i 1737 hans kannikembete. Han aksepterte det, men ga avkall på embetets inntekter for å gi kirken et orgel og lønn til en organist. Selv huset som han arvet etter kannik de Rossi ga han til kapittelet, mens han selv flyttet for å bo på et loft.
En oppgave tok han svært gjerne på seg etter anmodning fra pave Benedikt XIV (1740-58), som startet undervisningsklasser for fengselsbetjenter og andre statstjenestemenn, og han valgte denne unge presten til å undervise dem. Blant hans elever var byens offentlige bøddel. Som predikant var han svært etterspurt også for misjoner og for å tale i både manns- og kvinneklostre. Han var så etterspurt som skriftefar at han fikk dispensasjon fra forpliktelsen som kannik til å delta i korbønnen.
I 1763 tvang sviktende helse ham til å flytte til Trinità dei Pellegrini, og i desember samme år fikk han et slag og mottok de siste sakramentene. Han kom seg imidlertid tilstrekkelig til å feire messe, men han hadde store lidelser. Nedbrutt av sykdom og tretthet fikk han den 23. mai 1764 et nytt slag og døde, 66 år gammel.
Han etterlot seg så lite penger at hospitalet Trinità måtte ta på seg å betale for begravelsen. Men det viste seg at han skulle få en strålende begravelse. 260 prester, mange ordensfolk og utallige legfolk deltok i prosesjonen. Erkebiskop Lercari av Hadrianopel pontifiserte ved rekviemmessen i kirken Santissima Trinità dei Pellegrini, mens det pavelige kor sørget for musikken.
Mirakuløse helbredelser skjedde ved hans grav, og hans saligkåringsprosess ble åpnet i 1781. Han ble saligkåret den 13. mai 1860 (dokumentet (Breve) var datert den 2. august 1859) av den salige pave Pius IX (1846-78) og helligkåret den 8. desember 1881 (bullen var datert 15. desember) av pave Leo XIII (1878-1903). Hans minnedag er 23. mai og hans navn står i Martyrologium Romanum. Den 23. mai 1965 ble hans relikvier overført til en ny sognekirke i Roma som er viet til ham, San Giovanni Battista de Rossi. Hans dødsmaske befinner seg i kirken Santa Maria in Cosmedin.