Józef Rymer urodził się 9 lutego 1882 w Zabełkowie w powiecie raciborskim czyli na historycznej Opolszczyźnie. Zła sytuacja ekonomiczna jego rodziny zmusiła go w wieku 16 lat do emigracji zarobkowej.

Wyjechał do Westfalii, gdzie pracował jako górnik. Tam zetknął się z funkcjonującymi aktywnie wśród emigrantów polskimi organizacjami. Został działaczem Polskiego Towarzystwa Gimnastycznego "Sokół" i Towarzystwo Czytelni Ludowych.

W roku 1902 w Westfalii powstał polski związek zawodowy pod nazwą Zjednoczenie Zawodowe Polskie. Wkrótce Józef Rymer założył w Dellwig filię tej organizacji i został jej prezesem.

W pięć lat później został pracownikiem Zarządu Głównego ZZP w Bochum, a w roku 1909 sekretarzem generalnym i redaktorem naczelnym organów prasowych Zjednoczenia Zawodowego Polskiego. Brał udział w międzynarodowych kongresach związkowców w Paryżu, w Herne i w Bochum.

Do kraju wrócił w roku 1913 gdy siedziba władz związku przeniosła się do Katowic. Józef Rymer został wówczas prezesem Centralnego Zarządu Zjednoczenia Zawodowego Polskiego.

W roku 1918 został działaczem Naczelnej Rady Ludowej w Poznaniu, a potem przewodniczącym Naczelnej Rady Ludowej Górnego Śląska, której był współzałożycielem.
Jako delegat Naczelnej Rady Ludowej dwukrotnie reprezentował Polskę na konferencji pokojowej w Paryżu, zabierając głos w sprawach dotyczących Górnego Śląska.

W swoich wystąpieniach zdecydowanie opowiadał się przeciwko organizacji na Śląsku plebiscytu.

Od roku 1919 jako poseł na Sejm RP, opracowywał projekty przyszłej polskiej administracji na ziemiach śląskich, m.in. Statut organiczny województwa śląskiego. Po podjęciu przez aliantów decyzji o przeprowadzeniu na Górnym Śląsku plebiscytu, został zastępcą Wojciecha Korfantego przewodniczącego Polskiego Komisariatu Plebiscytowego.

W roku 1920 został napadnięty i dotkliwie pobity przez niemiecką bojówkę.

Podczas III powstania śląskiego był członkiem Naczelnej Władzy Cywilnej. Po powstaniu znów stał się celem zamachu. Tym razem próbowano go zabić w siedzibie Komisariatu Plebiscytowego przy ul. Warszawskiej w Katowicach.

W tym samym budynku urzędował później jako pierwszy wojewoda śląski. Pełniąc tę funkcję zasłynął jako sprawnym administrator, twardo stąpającym po ziemi realista i człowiek kompromisu. Nie mieli do niego zastrzeżeń nawet Niemcy, którzy po podziale Śląska zdecydowali się na pozostanie w Polsce. Zmarł na udar mózgu 5 grudnia 1922 r. w Katowicach.