Jan Rzymełka przyszedł na świat pod koniec XIX wieku w Józefowcu czyli historycznej dzielnicy Katowic. Po ukończeniu szkoły powszechnej wstąpił do Zgromadzenia Księży Misjonarzy Prowincji Krakowskiej.

Rok po zdaniu matury przyjął z rąk kard. Jana Puzyny święcenia kapłańskie. Niedługo potem został kapelanem w Domu Ubogich. W tym też czasie studiował na Uniwersytecie Jagiellońskim historię kościoła i prawa. Zaangażował się też w działalność misyjnego stowarzyszenia zajmującego się działalnością charytatywna.

Był także redaktorem różnych pism, w tym organu swego Zgromadzenia kwartalnika Miłosierdzie Chrześcijańskie. Opublikował liczne artykuły. Pisał też pod pseudonimami J.R, ale i Kapłan Górnośląski. Wykładał w Seminarium Duchownym Zgromadzenia na Stradomiu i pracował jako katecheta w krakowskich szkołach średnich.

W 1906 roku wszedł w skład Komitetu Tymczasowego Opieki nad Podrzutkami. Objął kierownictwo Zakładu im. ks. Siemaszki na Białym Prądniku. Z polecenia arcybiskupa Adama Sapiehy kierował sekcją sierocą Książęco-Biskupiego Komitetu Pomocy dla dotkniętych klęską I wojny światowej. W styczniu 1919 roku został delegatem przy Rządowym Towarzystwie Opieki nad Młodzieżą.

Był też członkiem Towarzystwa Wielkopolan w Krakowie. W roku odzyskania przez Polskę niepodległości włączył się czynnie w działalność Towarzystwa Obrony Kresów Zachodnich Polski i został jego pierwszym prezesem.

W czasie plebiscytu na Śląsku brał udział w licznych wiecach. Zajmował się też zbiórką pieniędzy dla powstańców ,ale także na potrzeby plebiscytu. 101 lat temu wydał broszurę pt. "Kto wyrządził ludowi polskiemu na Górnym Śląsku największą krzywdę?", a w 1921 r. opublikował zbiorek Pieśni powstańców górnośląskich podpisany „Kapłan Górnoślązak”. Działał w Centralnym Komitecie Plebiscytowym, powołanym do życia 29 czerwca 1920. Dziewięć miesięcy później przybył na Śląsk by wziąć udział w plebiscycie, który odbył się 20 marca 1921 roku. Zaangażował się też w działalność komitetu pomocy ludziom represjonowanym przez Niemców.

Jesienią 1921 roku rozpoczął swoją działalność misyjną i ale także angażował się w środowiskach polonijnych w Brazylii .Ze względu na wcześniej zdobyte doświadczenia kapłańskie ale i organizacyjne został wybrany wiceprowincjonałem Zgromadzenia Księzy Misjonarzy w Brazylii.

Także tam prowadził aktywną działalność wśród Polonii . Powrócił do Polski w 1929 roku jako reprezentant brazylijskiej Polonii na I Zjazd Polaków z Zagranicy w Warszawie. Prowadził Zgromadzenie Księży Misjonarzy w Wilnie. I wykładał na Uniwersytecie Wileńskim.
W lipcu 1936 został proboszczem parafii św. Krzyża w Warszawie. oraz superiorem domu Księży Misjonarzy przy tym kościele.

W czasie okupacji po zamachu na Kutscherę został wraz z innymi duchownymi w Warszawie, aresztowany na początku lutego 1944. Przebywał na Pawiaku, w Gross Rosen i innych obozach m.in. Bergen-Belsen. Stamtąd został uwolniony przez Anglików. W 1946 roku powrócił do kraju. Wrócił do kraju w 1946 roku. Został spowiednikiem zgromadzeń zakonnych Sióstr Loretanek, Wizytek i dyrektorem Stowarzyszenia Dzieci Maryi. Zmarł 2 maja 1960. Jego imieniem nazwano ulicę w Katowicach-Wełnowcu.
5 lat temu na ścianie domu rodzinnego w Katowicach została odsłonięta tablica poświęcona ks. Rzymełce.