Ród Hallerów wywodzi się od słynnego krakowskiego mieszczanina niemieckiego pochodzenia Jana Hallera, który w XVI wieku zasłynął tym, że był pierwszym polskim wydawcą i drukarzem. Józef Haller syn powstańca styczniowego i wnuk powstańca listopadowego urodził się 13 sierpnia 1873 roku w Jurczycach koło Skawiny. Po maturze podjął studia w wiedeńskiej wojskowej akademii technicznej, którą ukończył w roku 1895 w stopniu podporucznika artylerii.

Służył w garnizonach we Lwowie, Krakowie i Stanisławowie. W tym czasie za skuteczną modernizację ochotniczej szkoły oficerów artylerii otrzymał najwyższe austriackie odznaczenia i awans na kapitana. Po 14 latach służby odszedł z armii i poświęcił się działalności społecznej.

W tym czasie zajmował się adaptacją powstającego właśnie polskiego skautingu w harcerstwo, zakładaniem drużyn Sokoła, propagowaniem spółdzielczości i nowoczesnego rolnictwa. Od 1913 roku organizował dla młodzieży sokolej tajne kursy żołnierskie, podoficerskie i oficerskie. To z jego inspiracji wymyślona wówczas odznaka harcerska została opracowana na bazie krzyża Virtuti Militari.

Po wybuchu I wojny światowej major Józef Haller rozpoczął we Lwowie organizację Legionu Wschodniego, do którego ściągał Drużyny Polowe Sokoła, Drużyny Strzeleckie i Drużyny Bartoszowe. Ostatecznie z tych ludzi sformowano 3 Pułk Legionów, z którym major Haller wyruszył na front karpacki.

Jego oddział bronił Rosjanom przejścia przez góry na Węgry, a w rejonie Gorganów wybudował słynną drogę Legionów Polskich. Wkrótce Józef Haller otrzymał awans na stopień pułkownika i został przeniesiony do sztabu II Brygady Legionów. W lipcu 1916 roku powrócił do II Brygady Legionów na stanowisko jej dowódcy i wraz z nią wyruszył na front.

Dowodzona przez Hallera II Brygada Legionów nie wzięła udziału w tzw. kryzysie przysięgowym, ale zbuntowała się gdy 9 lutego 1918 roku w Brześciu nad Bugiem Austro-Węgry i Prusy zawarły traktat pokojowy z rządem Ukraińskiej Republiki Ludowej, w którym zobowiązały się oddać Ukraińcom tereny od Podlasia poprzez Chełm, Zamość, Przemyśl i Lwów. Informacja o tym traktacie została odebrana przez legionistów jako zdrada.

Oburzeni oficerowie brygady Michał Rola-Żymierski, Roman Górecki i Józef Zając przedstawili dowódcy brygady plan zbrojnej demonstracji, który pułkownik Haller zaakceptował. Na jego rozkaz brygada rozpoczęła przegrupowanie w kierunku Rarańczy. Rok wcześniej legioniści stoczyli tam długotrwałe boje z Rosjanami, więc dobrze znali teren.

Wykorzystując lukę pomiędzy austrowęgierskimi oddziałami pułki piechoty rozwinęły się w tyralierę i ruszyły w kierunku opuszczonych okopów. Austriacy wysłali przeciwko nim dwa szwadrony kawalerii i kilka pododdziałów piechoty doszło do krótkiej walki podczas której Polacy złamali opór stojących im na drodze żołnierzy.

Niestety wkrótce w rejon walk przybył austriacki pociąg pancerny który odciął od brygady jej tabory, jednakże 1500 legionistom udało się przejść na rosyjską stronę frontu i dołączyć do stacjonującego niedaleko bo w Kaniowie II Korpusu Polskiego. Korpus ten podlegał powstałemu w Rosji w 1917 roku Naczelnemu Polskiemu Komitetowi Wojskowemu, który wkrótce awansował Józefa Hallera na stopień generała i powierzył mu dowództwo wszystkich sił polskich na Ukrainie.

10 maja 1918 roku łamiąc postanowienia traktatu brzeskiego wojska niemieckie przeszły linię frontu i zaatakowały Polaków rozlokowanych pod Kaniowem. W efekcie całodziennej bitwy i wyczerpania się amunicji Polacy zmuszeni zostali do kapitulacji.

Generał Haller zdołał zbiec z niewoli pod przybranym nazwiskiem i przez Petersburg i Murmańsk przedostał się do Francji. Tam w Paryżu 4 października przejął dowodzenie Błękitnej Armii – armii stworzonej z ochotników – z jeńców - dawnych poddanych austriackich lub niemieckich, oraz Polaków przybyłych na wezwanie Ignacego Paderewskiego z Ameryki, łącznie blisko 60 000 ludzi.

Na czele 1 Dywizji Polskiej generał Haller wszedł do walk na froncie zachodnim w październiku 1918 r. Po zakończeniu walk postanowiono przetransportować armię do Polski. Pierwszy transport wyruszył w kwietniu 1919 r., a całość armii znalazła się w Polsce w czerwcu i natychmiast weszła do walki z Ukraińcami.

W czerwcu generał Haller został dowódcą frontu zachodniego utworzonego na wypadek wojny z Niemcami, a w październiku 1919 r. objął dowodzenie oddziałami wyznaczonymi do przejęcia od Niemiec Pomorza Gdańskiego. Tam nie bez drobnych wypadków słabego oporu, zabezpieczył polskie wybrzeże i w okolicach Pucka dokonał słynnego aktu zaślubin Polski z Morzem. Generał wjechał konno w morskie fale w towarzystwie kapitana Władysława Zakrzewskiego i wyrecytowawszy rotę zaślubin obaj wrzucili w morskie fale dwa platynowe pierścienie.

W początkach lipca 1920 roku gdy sytuacja na froncie polsko-bolszewickim była krytyczna, a Polacy wycofywali się na całej linii, Podjęto decyzję o utworzeniu tzw. Armii Ochotniczej, której postawiono za cel zatrzymać wroga na przedpolach Warszawy. Generalnym Inspektorem Armii Ochotniczej mianowano generała Józefa Hallera i był to bardzo dobry wybór.

W ciągu trzech miesięcy zdołał on zorganizować jednostki liczące 105 tysięcy ludzi, którzy odegrali ważną rolę w odwróceniu losów wojny. Pomimo słabego wyszkolenia i niemal całkowitego braku doświadczenia wojskowego oddziały Armii Ochotniczej użyte do obrony linii obronnych na przedpolach Warszawy przyjęły na siebie największy impet nacierających bolszewików i zluzowały bardziej doświadczone oddziały, które były zdolne do walki manewrowej. Kluczowym okazał się manewr na lukę w bolszewickich oddziałach wyprowadzony znad Wieprza.

W okresie międzywojennym Józef Haller pozostał w armii i pełnił różne funkcje administracyjne, a gdy w roku 1922 został wybrany do Parlamentu otrzymał urlopowanie z wojska. Gdy latem 1926 roku potępił przewrót majowy Józefa Piłsudskiego otrzymał dymisję z armii. Osiadł wówczas wraz z żoną i synem w majątku Gorzuchowo koło Chełmna na Pomorzu.

Podczas II wojny światowej był członkiem emigracyjnego rządu Władysława Sikorskiego jako minister bez teki m.in. podróżował do USA by zachęcać tamtejszych Polaków do wstępowania do Polskich Sił Zbrojnych na Zachodzie.

Po wojnie pozostał na emigracji. Generał Józef Haller zmarł 4 czerwca 1960 r. w Londynie. W latach 90 jego prochy sprowadzono do Polski i pochowano w kościele garnizonowym w Krakowie.