Józef Czempiel urodził się 21 września 1883 r. w Piekarach Śląskich. Po ukończeniu gimnazjum w Bytomiu studiował teologię na Uniwersytecie Wrocławskim, który ukończył w roku 1907.
Już podczas studiów działał aktywnie w polskich organizacjach studenckich. Święcenia kapłańskie otrzymał 22 czerwca 1908 roku i wtedy też podjął pracę wikarego w Rudzie Śląskiej. W tym okresie dał się poznać jako aktywny propagator częstej komunii świętej oraz abstynencji. Z jego inicjatywy powstały w jego parafii pierwsze w Polsce parafialne poradnie dla alkoholików i ich rodzin.
W latach 1916-17 administrował kolejno parafiami w Wiśniczu, Baborowie i Dziećmarowie w powiecie głubczyckim. W styczniu 1919 roku objął funkcję duszpasterza w Żędowicach w powiecie strzeleckim i tam też w związku z zarządzeniami konferencji pokojowej w Wersalu założył Polski Komisariat Plebiscytowy. W tym okresie ksiądz Czempiel aktywnie wspierał i inicjował zakładanie różnego rodzaju polskich spółdzielni rolniczych w powiecie strzeleckim.
W tym samym roku we współpracy z księdzem Emilem Szramkiem wydał w Opolu w języku niemieckim książkę „Das Recht auf die Muttersprache im Lichte des Christentums” czyli Prawo do języka ojczystego w świetle chrześcijaństwa”. Nie zdecydował się jednak firmować tej pracy swoim nazwiskiem, ale wystąpił pod pseudonimem Machabeusz.
Zagrożony zabójstwem z rąk niemieckich bojówkarzy uciekł do Polski. W roku 1922 po podziale Śląska ksiądz Józef Czempiel objął probostwo parafii Wniebowzięcia NMP w Wielkich Hajdukach czuli dzisiejszym Chorzowie Batorym. Posługę proboszcza pełnił tam przez 17 lat organizując bogate życie parafialne.
W pół roku po wybuch II wojny światowej 13 kwietnia 1940 roku ksiądz Józef został przez Niemców aresztowany i osadzony w obozie koncentracyjnym w Dachau. Tam prawdopodobnie 4 maja 1942 roku został zagazowany w tzw. transporcie inwalidów czyli w samochodzie, w którym spaliny kierowane były do wnętrza.
13 czerwca 1999 roku Papież Jan Paweł II ogłosił go błogosławionym w grupie 108 męczenników II wojny światowej.
