Działający w Niemczech Związek organizował życie Polakom. Chronił polskość i stwarzał warunki dla jej rozwoju. Prowadził działalność kulturalną, wydawał prasę i zakładał polskie szkoły. Przejawiał też aktywność w sferze gospodarczej, zwłaszcza w spółdzielczości.

Właśnie z inicjatywy Związku Polaków w Niemczech został założony Bank Słowiański w Berlinie, który stał się zapleczem finansowym polskich spółdzielni w Niemczech. Związkowi udało się też uzyskać dla Polaków status mniejszości narodowej.

Jednak przez cały czas Polacy na Śląsku byli obiektem przemocy i bezprawia ze strony Niemców, szczególnie po dojściu Hitlera do władzy. Działacze Związku dokumentowali te przestępstwa, a poszkodowanym udzielali wszechstronnej pomocy. Głośnym echem odbiło się zamordowanie przez bojówkę SA powstańca śląskiego i działacza Związku .

W 1924 roku uchwała Rady Naczelnej została ustanowiona dla wszystkich działających w Związku odznaka narodowa. Rada Naczelna Związku Polaków w Niemczech podjęła decyzję o potrzebie posługiwania się wyraźnym znakiem narodowym, mogącym zastąpić godło i biało-czerwoną flagę, których używanie w Niemczech po 1918 roku zostały zakazane.

Ostatecznie członkowie związku na jednym ze spotkań w 1932 roku ustalili, że takim ponadczasowym symbolem polskości będzie rzeka Wisła. Obecna na zebraniu, młoda 28 letnia artystka, absolwentka Akademii Sztuk Pięknych w Warszawie Janina Kłopocka nadała mu ostateczny kształt.

Symbol zaproponowany przez artystkę Przedstawiał biały znak na czerwonym tle, kojarzący się także ze znakami herbów polskich. Znak ten symbolizował stylizowany bieg Wisły z zaznaczonym stołecznym królewskim miastem Krakowem jako kolebką polskiej kultury i symbolem trwania oraz ciągłości Państwa Polskiego.

Przedwojenny, pierwszy wzór Rodła stworzony przez Kłopocką miał górne ramię, symbolizujące ujście Wisły, krótsze od ramienia dolnego, które symbolizowało źródło rzeki.
Artystka starała się oddać w swoim projekcie rzeczywisty kształt biegu rzeki. Wzór ten jednak w późniejszych projektach graficznych, powstałych podczas i po wojnie, ulegał licznym modyfikacjom.

Znak stał się godłem Związku Polaków w Niemczech Całość była biało-czerwona. Sama nazwa powstała na bazie dwóch słów rodzina i godło. Od tego czasu znak Rodła stał się symbolem trwania przy polskości. Jednoczył Polaków i dodawał otuchy w mrocznych czasach nazistowskich Niemiec. Był częścią składową znaków organizacji polonijnych. Wyróżniał także niektóre towarzystwa śpiewacze i drużyny harcerskie, ale i organizacje młodzieżowe takie jak Rodło Młodych Polaków.

Niestety, tak prężnie Związek działał do momentu wybuchu II wojny światowej. W oparciu o rozporządzenie władz hitlerowskich zimą 1940 roku został zdelegalizowany, najważniejszych przywódców organizacji Niemcy rozstrzelali. Pozostali działacze trafili do niemieckich obozów koncentracyjnych,