Józef Dreyza urodził się 5 lipca 1863 roku w Kłecku w Wielkopolsce. Uczył się w Gnieźnie i w Chemłmnie. Po maturze odbył służbę wojskową w pruskim pułku artylerii polowej w Kołobrzegu, a następnie zatrudnił się jako urzędnik pocztowy. Pracował w Berlinie, Lipsku i Frankfurcie, by w końcu wrócić do Wielkopolski.
W Poznaniu był jednym z założycieli i zastępcą szefa poznańskiego gniazda Towarzystwa Gimnastycznego Sokół. Ksiądz Piotr Wawrzyniak wciągnął go do ruchu spółdzielczego w ramach którego Józef Dreyza brał udział w akcji zakładania polskich spółdzielni bankowych na terenie całego państwa pruskiego.
W roku 1903 Józef Dreyza przyjechał do Koźla, gdzie prawdopodobnie był jednym z założycieli, a na pewno był pierwszym prezesem polskiego Banku Ludowego w Koźlu. Mieszkał tu i zarządzał bankiem przez kolejnych pięć lat, aż do momentu gdy w roku 1908 został zaproszony do kierowania polskim bankiem w Siemianowicach Śląskich.
Podczas pobytu w Koźlu animował także polskie życie narodowe, sprawiając, że bank ludowy stał się ośrodkiem życia polskiego oddziałującym na cały powiat kozielski. Skutecznie też przeprowadził w roku 1907 akcję wyborczą podczas, której kandydat polski do Reichstagu zyskał tu aż 44 proc. głosów.
Po przeprowadzce do Siemianowic, postanowił osiąść tam na stałe. Wznowił swoją działalność w Towarzystwie Gimnastycznym Sokół, którego został naczelnikiem na okręg śląski. Za działalność w Sokole, w sierpniu 1914 roku oskarżony o działalność wrogą Rzeszy Niemieckiej został osadzony w twierdzy w Nysie. Jednakże już po kilku dniach został wypuszczony.
W grudniu 1918 roku założył Związek Wojacki Polaków, by pod pozorem legalnego stowarzyszenia weteranów prowadzić działalność konspiracyjną. Wkrótce nawiązał bliską współpracę z Wojciechem Korfantym. Jest wymieniany jako jeden z twórców Polskiej Organizacji Wojskowej Górnego Śląska.
W dalszym okresie wycofał się z pierwszoplanowej polityki. Podczas III powstania śląskiego pełnił funkcję burmistrza Siemianowic. Józef Dreyza zmarł 6 maja 1951 roku w Siemianowicach.
