Związek Harcerstwa Polskiego w Niemczech powstał 6 maja 1926 roku podczas zjazdu działających na pozostającym w granicach niemieckiego państwa Śląsku organizacji harcerskich. Początkowo podjęto jedynie decyzję o utworzeniu wspólnej organizacji, dopiero w roku 1927 zaczęto powszechnie używać nazwy Związek Harcerstwa Polskiego w Niemczech.

Jedną z organizacji, które przystąpiły do ZHPwN i podporządkowały się jego władzom zachowując jednak swoją strukturę i nazwę, było założone w roku 1920 przez Szymona Koszyka Towarzystwo Skautów Opolskich. Skauci Opolscy działali w 33 kołach regionalnych na Opolszczyźnie. Ich jednostki funkcjonowały m.in. w Opolu, Grudzicach, Gosławicach, Szczedrzyku, Wójtowej Wsi i w kilkudziesięciu innych wsiach.

Polskie harcerstwo działało także w innych częściach Niemiec, wszędzie tam, gdzie mieszkali Polacy, a więc w Berlinie, Wrocławiu, na Kaszubach czy na Warmii i Mazurach.

Struktura ZHP w Niemczech składała się z 10 hufców, w których działało około trzech kilka tysięcy harcerek i harcerzy. Oprócz typowego skautowego programu w organizacji duży nacisk kładziono na propagowanie polskiej literatury i naukę historii Polski, a także na wychowanie patriotyczne.

Symbolem polskiego harcerstwa w Niemczech była lilijka z rodłem zaprojektowana w roku 1933 przez Pawła Gajdzika. Rodło – schematyczne przedstawienie biegu Wisły z zaznaczonym Krakowem, było symbolem Związku Polaków w Niemczech.

Charakterystyczna lilijka z Rodłem stała się popularnym znakiem używanym na sztandarach i odznakach harcerskich.

We wrześniu 1937 roku władze hitlerowskie zabroniły używania harcerskich mundurów, a kolejnego lata zabroniono organizacji obozów i kursów harcerskich. Po wybuchu II wojny światowej wielu działaczy ZHP w Niemczech zostało aresztowanych i zesłanych do obozów koncentracyjnych. Wielu za swoje zaangażowanie w polskie harcerstwo zapłaciło życiem.