Edukację rozpoczął w Otmęcie, a następnie kontynuował ją w gimnazjum w Opolu, które ukończył w roku 1877. Wówczas wyjechał do Wrocławia, gdzie studiował filozofię i teologię. W roku 1880 założył na wrocławskim uniwersytecie Towarzystwo Studentów Górnoślązaków. Dalsze studia teologiczne kontynuował w Ratyzbonie, gdzie w roku 1883 uzyskał święcenia kapłańskie.
Od roku 1890 pracował jako proboszcz na parafii w Woli koło Pszczyny. W roku 1897 przeniósł się na parafię w Grabinie koło Prudnika, gdzie pełnił funkcję proboszcza przez kolejne 37 lat. Mimo zaangażowania w polską działalność plebiscytową, po podziale Śląska zdecydował się pozostać na swojej parafii, która znalazła się na terytorium niemieckim.
Był jednym z założycieli Polsko-Katolickiej Partii Ludowej, z której listy startował w wyborach do sejmiku rejencji opolskiej. W roku 1928 został wybrany jednym z trzech polskich posłów do regionalnego sejmiku Opolszczyzny. Sprawował mandat posła do sejmiku aż do 1932 roku. honorowym prezesem I Dzielnicy Związku Polaków w Niemczech.
W ramach poselskiej działalności w roku 1931 zainicjował złożenie petycji do kanclerza Niemiec Heinricha Bruninga, w której domagał się respektowania praw polskich mieszkańców rejencji opolskiej.
W latach 1930 - 1935 pełnił funkcję prezesa I Dzielnicy Związku Polaków w Niemczech. Jednocześnie sprawował nadzór nad polską szkołą mniejszościową działająca na terenie jego parafii w Grabinie. Za swoją polską działalność był na różne sposoby szykanowany, m.in. kilkakrotnie splądrowano jego mieszkanie, na różne sposoby starano się uprzykrzać mu codzienne życie, grożono też odsunięciem od pracy duszpasterskiej.
W roku 1934 przeszedł na emeryturę i przeniósł się do rodziny do Otmętu, gdzie pozostał do końca życia. W uznaniu jego zasług dla sprawy polskiej 5 lutego 1936 wybrano go honorowym prezesem I Dzielnicy Związku Polaków w Niemczech.
W wieku 82 lat Ksiądz Karol Koziołek zmarł w Otmęcie 8 grudnia 1938 roku.
