Związek chronił polskość i stwarzał warunki dla jej rozwoju. Prowadził działalność kulturalną, wydawał prasę i zakładał polskie szkoły. Przejawiał też aktywność w sferze gospodarczej, zwłaszcza w spółdzielczości. Właśnie z inicjatywy Związku Polaków w Niemczech został założony Bank Słowiański w Berlinie, który stał się zapleczem finansowym polskich spółdzielni w Niemczech. Powodzeniem zakończyły się także starania Związku o uzyskanie dla Polaków statusu mniejszości narodowej.

Jednak przez cały czas Polacy na Śląsku byli obiektem przemocy i bezprawia ze strony Niemców, szczególnie po dojściu Hitlera do władzy. Działacze Związku dokumentowali te przestępstwa, a poszkodowanym udzielali wszechstronnej pomocy. Polacy cały czas bronili się przed nasilającymi się szykanami i represjami.

Narzucanie symboliki nazistowskiej doprowadziło do realizacji w X-lecie Związku uchwały Rady Naczelnej z roku 1924 o wprowadzeniu narodowej odznaki dla wszystkich członków . Rada Naczelna Związku Polaków w Niemczech podjęła decyzję o potrzebie posługiwania się wyraźnym znakiem narodowym, mogącym zastąpić godło i biało-czerwoną flagę, których używanie w Niemczech po 1918 roku zostały zakazane.

Ostatecznie członkowie związku na jednym ze spotkań w grudniu 1932 roku ustalili, że takim ponadczasowym symbolem polskości będzie rzeka Wisła. Obecna na zebraniu, młoda 28 letnia artystka, absolwentka Akademii Sztuk Pięknych w Warszawie Janina Kłopocka nadała mu ostateczny kształt.

Biały znak na czerwonym tle, kojarzący się także ze znakami herbów polskich przedstawiał stylizowany bieg Wisły z zaznaczonym stołecznym królewskim miastem Krakowem jako kolebką polskiej kultury i symbolem trwania oraz ciągłości Państwa Polskiego.

Przedwojenny, pierwszy wzór Rodła stworzony przez Kłopocką miał górne ramię, symbolizujące ujście Wisły, krótsze od ramienia dolnego, które symbolizowało źródło rzeki. Artystka starała się oddać w swoim projekcie rzeczywisty kształt biegu rzeki. Wzór ten jednak w późniejszych projektach graficznych, powstałych podczas i po wojnie, ulegał licznym modyfikacjom.

Znak stał się godłem Związku Polaków w Niemczech Całość była biało-czerwona. Sama nazwa powstała na bazie dwóch słów rodzina i godło. Od tego czasu znak Rodła stał się symbolem trwania przy polskości. Jednoczył Polaków i dodawał otuchy w mrocznych czasach nazistowskich Niemiec. Stał się częścią składową znaków organizacji polonijnych. Wyróżniał także niektóre towarzystwa śpiewacze i drużyny harcerskie, ale i organizacje młodzieżowe takie jak Rodło Młodych Polaków.

Symbol został jednogłośnie przyjęty przez zarząd Związku. Pozostała jednak kwestia nazwania nowego znaku. Zadanie to powierzono Edmundowi Osmańczykowi, któremu ideogram stworzony przez Kłopocką skojarzył się z herbem rodowym. W wyniku kolejnej debaty na temat nazwy skrzyżowano nazwę staropolskiego herbu rodowego „Rodnicy” ze słowem „Godło”, co w sumie dało „Rodło”.