Od wczesnych lat młodości określał się mianem "Śląskiego Polaka". Ta zadeklarowana polskość była powodem niechęci i wrogości wobec bł. Józefa jeszcze w czasach zaborów. Jako działacz plebiscytowy po ostatecznym wytyczeniu granic Między Polską a Niemcami przeniósł się w 1922 r. z Piekar do Hajduk (obecny Chorzów). Jeszcze w czasach studenckich walczył o polskość i prawo do używania języka ojczystego, czemu dał wyraz w rozprawie "Das Recht auf die Muttersprache". Ta działalność miała w przyszłości stać się jednym z powodów jego śmierci.

Już od młodości pociągała ks. Czempiela również działalność na rzecz trzeźwości, w tym postać ks. Jana Kapicy, po którego śmierci od 1930 roku faktycznie przejął odpowiedzialność za Ruch Trzeźwościowy w diecezji. Ks. biskup Ignacy Jeż, który od 1937 roku pracował w parafii prowadzonej przez bł. ks. Czempiela, w konferencji dla kapłanów w Chorzowie 4 IX 1999 r. wspominał o tym jak wielką troską o uzależnionych robotników i ich rodziny odznaczał się ówczesny proboszcz; "Większość ich [uzależnionych] znał - mieli notatkę w kartotece Ťbibť, co znaczyło bibulus, a niektórych przy obchodzie kolędowym polecał nam szczególnej opiece".

Ks. proboszcz Józef Czempiel dbał o ożywienie wiary swoich parafian między innymi poprzez rożne formy duszpasterstwa. Oprócz lekcji religii i samodzielnie przygotowywanych cykli katechez niedzielnych, błogosławiony ks. Józef sprawował także pieczę nad dziećmi przygotowującymi się do pierwszej Komunii Świętej, Krucjatą Eucharystyczną zbierającą dzieci na cotygodniową adorację, Dzięcięctwem Jezusowym - modlitwa w intencji misji. Praca duszpasterska nie ograniczała się jednak do dzieci. Przy parafii działały również grupy młodzieżowe: Sodalicje Mariańskie Panien i Młodzieńców, oraz Katolickie Stowarzyszenie Młodzieży Żeńskiej i Młodzieży Męskiej, a także skupiające dorosłych Akcja Katolicka i Bractwo Ludzi Starszych.
Ks. Józef prowadził tez cykl przygotowań do sakramentu małżeństwa.

Jak wspominają księża, którzy niegdyś współpracowali z ks. Czempielem ta praca "wyraźnie oddziaływała na życie społeczne Hajduk Wielkich jako społeczności bardzo różnorodnej i wcale niejednolitej ani wyznaniowo, ani narodowo, co wymagało od proboszcza bardzo roztropnych działań". Ks. Czempiel dbał również o inne sfery życia parafii. Przeprowadził w czasie swej kadencji wiele prac remontowych, zorganizował komitet pomocy bezrobotnym, prowadził kino i bibliotekę parafialną, wydawał gazetę, przyczynił się też do wybudowania nowego kościoła dla wciąż rozrastającej się parafii.

Od początku roku 1940 rozpoczęły się przesłuchania ks. Czempiela. Dotyczyły głownie Jego propolskiej działalności w minionych latach. 13 kwietnia 1940 r. został aresztowany w ramach fali aresztowań inteligencji. Niemcy zabrali go wprost z konfesjonału. Przewieziono go do Dachau, potem Mauthausen, Gusen, później znowu do Dachau. Współwięźniowie mówili o Nim: "w swej niezłomnej wierze heroicznie i z niezwykłą cierpliwością naśladował swojego Mistrza".