Po wybuchu II wojny światowej, na początku stycznia 1940 roku, został aresztowany przez NKWD i skazany jako "niebezpieczny element" na pięć lat obozu pracy. Karę odbywał w obozach w Republice Komi, pracując przy budowie kolei. Z niewoli wyszedł po zawarciu porozumienia Sikorski - Majski i we wrześniu 1941 roku wstąpił w szeregi tworzącej się na terenie ZSRR Armii Polskiej gen. Władysława Andersa. Został wcielony do 3. Dywizji Strzelców Karpackich.

Zdemobilizowany w październiku 1948 roku, pozostał na emigracji w Wielkiej Brytanii. Działał w organizacjach polonijnych i kombatanckich. Przez 17 lat był członkiem Zarządu Głównego Związku Karpatczyków 3. Dywizji Strzelców Karpackich w Londynie.

Do Polski wrócił w 2006 roku. Działał w Stowarzyszeniu Byłych Żołnierzy Polskich Sił Zbrojnych na Zachodzie "Karpatczycy", znacząco przyczynił się do powstania Stowarzyszenia Żołnierzy i Przyjaciół Wojsk Górskich "Karpatczycy", którego został prezesem honorowym.

Edmund Brzozowski był odznaczony Krzyżem Srebrnym Orderu Wojennego Virtuti Militari, Krzyżem Komandorskim Orderu Odrodzenia Polski, Krzyżem Walecznych, Krzyżem Monte Cassino oraz innymi odznaczeniami polskimi i brytyjskimi.

Zmarł 19 października 2018 roku. Został pochowany w kwaterze Żołnierzy Polskich Sił Zbrojnych na Zachodzie na Cmentarzu Wojskowym na Powązkach w Warszawie.