W czasie II wojny światowej Jan Olszewski należał do Szarych Szeregów, w Powstaniu Warszawskim pełnił funkcję łącznika. W 1956 roku był współautorem jednego z najważniejszych artykułów popaździernikowej odwilży - "Na spotkanie ludziom z AK", opublikowanego w tygodniku "Po Prostu". Domagał się w nim lepszego traktowania dawnych żołnierzy podziemia, prześladowanych w okresie stalinizmu.

W latach 60. bronił w procesach politycznych, między innymi pisarza Melchiora Wańkowicza, dysydentów - Jacka Kuronia i Karola Modzelewskiego, satyryka Janusza Szpotańskiego, a później - Wojciecha Ziembińskiego, działacza KOR, związanego z Ruchem Obrony Praw Człowieka i Obywatela.

W 1975 roku Jan Olszewski podpisał tzw. List 59, czyli protest wymierzony w poprawki wprowadzające do konstytucji PRL zapisy o przewodniej roli PZPR i sojuszu ze Związkiem Radzieckim. Był jednym z nielicznych prawników, którzy w 1976 roku bronili poszkodowanych robotników strajkujących w Radomiu i Ursusie. Cechowała go odwaga i konsekwencja w działaniu, mimo że kilkakrotnie podejmowano próby pozbawienia go możliwości wykonywania zawodu. Jego mowy były przemyślane, precyzyjnie ułożone i skutecznie obnażały komunistyczny aparat represji.

Współpracował z Komitetem Obrony Robotników i ROPCiO. Był autorytetem i skupiał wokół siebie ludzi, którzy za cel stawiali niepodległą Polskę. W 1977 roku w podziemnym obiegu ukazała się napisana przez Jana Olszewskiego, choć wydana anonimowo, broszura "Obywatel a Służba Bezpieczeństwa". Była zwięzłym, 20-stronicowym poradnikiem dla opozycjonistów, jak zachowywać się przy kontakcie z bezpieką.

W 1980 roku Jan Olszewski doradzał Solidarności i Lechowi Wałęsie, był współautorem statutu prawnego rodzącego się związku, współpracował przy organizowaniu strajków w Warszawie. Kiedy w grudniu 1981 roku ogłoszono stan wojenny, przebywał w Gdańsku i prawdopodobnie dzięki temu uniknął aresztowania. Kiedy wrócił do Warszawy, prowadził pertraktacje z władzami w sprawie zwolnienia z więzień i obozów internowania osób chorych. Stale współpracował z podziemną Solidarnością. Bronił w sądach między innymi: Lecha Wałęsy, Zbigniewa Romaszewskiego, Zbigniewa Bujaka.

Jako członek Komitetu Obywatelskiego przy Lechu Wałęsie uczestniczył w rozmowach Okrągłego Stołu, choć - jak wielokrotnie później powtarzał - zgodził się na to, ponieważ odmowa byłaby "nieelegancka". Uważał, że z rozmowami nie należało się spieszyć, bo porozumienie zakładało utrzymanie władzy przez komunistów przy zachowaniu pozorów kompromisu. O tzw. kontraktowych wyborach 1989 roku mówił, że nie były ani wolne, ani demokratyczne.

Zwieńczeniem kariery politycznej Jana Olszewskiego była funkcja szefa rządu. 23 grudnia 1991 roku jego gabinet otrzymał wotum zaufania od Sejmu - pierwszego po wojnie wybranego w w pełni wolnych wyborach. Jako premier Jan Olszewski stawiał przed sobą trzy zadania: wyprowadzenie Polski ze strefy wpływów postsowieckich, uwolnienie aparatu państwowego od agentury i zabezpieczenie majątku narodowego.

Premier Olszewski nadał polskiej polityce zagranicznej prozachodni kierunek. Widząc bezpieczeństwo europejskie w zacieśnianiu więzi z NATO, podczas pobytu w Waszyngtonie w kwietniu 1992 roku otwarcie poruszył sprawę naszego członkostwa z Sojuszem. Miał wielkie zasługi przy negocjowaniu wycofywania wojsk radzieckich z Polski. Zapobiegł tworzeniu spółek "joint ventures", do których mieli wejść radzieccy wojskowi stacjonujący w naszym kraju. To dzięki niemu w porozumieniu dotyczącym wycofania obcych sił nie znalazł się zapis, popierany przez część polskich dyplomatów i prezydenta Lecha Wałęsę, o rosyjskich ośrodkach, które miałyby pozostać w Polsce.

Był przeciwny działaniom akceptującym funkcjonowanie środowisk postkomunistycznych w polityce, uważał, że ugoda z komunistami spowoduje brak rozliczeń, niechęć do lustracji i dekomunizacji. Wypowiadał się krytycznie wobec formy prywatyzacji gospodarki ustalonej w 1989 roku. Podkreślał, że prowadzony bardzo szybko proces sprzyja przechodzeniu dużej części polskiej gospodarki w ręce byłych aparatczyków PZPR.

W nocy z 4 na 5 czerwca 1992 roku, kiedy do rąk parlamentarzystów i prezydenta trafiła lista agentów SB przygotowana przez ówczesnego szefa MSW Antoniego Macierewicza, prezydent Wałęsa zawnioskował o odwołanie premiera Jana Olszewskiego. Wydarzenia te przeszły do historii jako "noc teczek".

Przekazane listy oraz forma lustracji wywołały wśród polityków ogromne emocje. Część z nich oceniała całą akcję jako próbę ratowania rządu skonfliktowanego z prezydentem. Zdaniem wielu jednak był to spisek, a rząd Olszewskiego został odwołany ze względu na jego sprzeciw wobec kompromisu z komunistami. Uznano to za blokowanie ustaleń zawartych w 1989 roku przy Okrągłym Stole. Zmasowana kampania propagandowa przeciwko rządowi Jana Olszewskiego oraz sposób, w jaki obalono gabinet, sprawiły, że dla części Polaków stał się on ofiarą spisku.

Po latach Jan Olszewski przyznał, że obejmując urząd premiera w 1991 roku, miał świadomość, że rzuca wyzwanie siłom politycznym, które nie godziły się na planowane zmiany. Ocenił też, że krótki okres trwania jego gabinetu był ważnym etapem w procesie wybijania się Polski na niepodległość. Udało się wówczas zapobiec próbom utrzymania statusu kraju jako państwa o ograniczonej suwerenności.

W 1995 roku Jan Olszewski założył partię Ruch Odbudowy Polski, która w rok później w sondażach uzyskiwała nawet kilkanaście procent poparcia. W 2011-tym zrezygnował z funkcji przewodniczącego ugrupowania.

Z upoważnienia prymasa Polski Józefa Glempa, w 1984 i 1985 roku mecenas Jan Olszewski występował jako oskarżyciel posiłkowy w procesie zabójców księdza Jerzego Popiełuszki. Był też pełnomocnikiem rodziny duchownego. W mowie oskarżycielskiej, transmitowanej wówczas we fragmentach przez Polskie Radio, przedstawił swoją wersję wydarzeń, twierdząc, że morderstwo miało być polityczną prowokacją, której celem było rozpętanie w kraju zamieszek.

Jan Olszewski walczył także o ujawnienie prawdziwych okoliczności zabójstwa księdza Stefana Niedzielaka. Kapelan Armii Krajowej, uczestnik Powstania Warszawskiego, a po wojnie współzałożyciel Rodziny Katyńskiej w Warszawie, został zamordowany przez funkcjonariuszy Służby Bezpieczeństwa w styczniu 1989 roku, dwa tygodnie przed rozpoczęciem obrad Okrągłego Stołu.

W 2009 roku Jan Olszewski został odznaczony przez prezydenta Lecha Kaczyńskiego Orderem Orła Białego, w uznaniu "znamienitych zasług dla Rzeczypospolitej Polskiej, a w szczególności dla przemian demokratycznych i wolnej Polski, za działalność państwową i publiczną". Pośmiertnie, w 2019 roku, otrzymał Krzyż Wolności i Solidarności.