Obóz w Pępicach działał od 1939 do 1945 roku. Więźniowie pracowali miedzy innymi przy budowie pobliskiego lotniska. Likwidacja obozu nastąpiła w dniach 23–25 stycznia 1945 r. Wszystkich więźniów poprowadzono wówczas w "marszu śmierci" na Zachód.

Kwiaty pod pomnikiem w imieniu mieszkańców gminy Skarbimierz złożył Jan Kulczycki.

Obelisk upamiętniający więźniów obozu postawiono w 1998 roku. Obok niego z inicjatywy sołtysa i podopiecznych schroniska Brata Alberta postawiono symboliczną wieżę strażniczą.