Przetrzymywano w nim nie tylko więźniów politycznych, ale także jeńców wojennych, wbrew konwencjom międzynarodowym. Były tam osoby zatrzymane w łapankach, również kobiety i dzieci. Na Pawiaku Niemcy więzili między innymi: Macieja Rataja, Janusza Kusocińskiego, franciszkanina - ojca Maksymiliana Kolbego (kanonizowany w 1982), Hankę Ordonównę, Irenę Sendlerową i Janusza Korczaka.

Brutalna likwidacja Pawiaka i zacieranie śladów zbrodni, których dopuszczali się Niemcy przez 5 lat okupacji w tym więzieniu, to jedno z najtragiczniejszych wydarzeń, jakie zapisały się na kartach historii Warszawy.

Według szacunków historyków, w latach 1939-1944 przez Pawiak przeszło około 100 tysięcy osób. Z tej liczby około 37 tysięcy zostało zamordowanych w egzekucjach, między innymi w lesie w Palmirach, część zginęła podczas przesłuchań w siedzibie Gestapo w alei Szucha, bądź zmarła w celach i więziennym szpitalu. Pozostałych, około 60 tysięcy osób, wywieziono do niemieckich obozów koncentracyjnych, najwięcej do Auschwitz-Birkenau.

Pod koniec lipca 1944 roku Niemcy, ze względu na zbliżający się front wschodni, zaczęli przygotowania do likwidacji więzienia. 30 lipca w ostatnim transporcie wysłali - 1800 więźniów do obozów koncentracyjnych - Gross-Rosen i Ravensbrück. Ocalało około 300 osób. Wśród zwolnionych znaleźli się między innymi polscy lekarze, a także 14 matek z niemowlętami, urodzonymi w więzieniu w 1944 i 1943 roku.

Po spacyfikowaniu Powstania Warszawskiego na Woli Niemcy rozstrzelali pozostałych więźniów Pawiaka. Ostatnie egzekucje odbywały się w ruinach getta warszawskiego jeszcze 13 i 18 sierpnia. Rozstrzeliwano wtedy nawet matki z dziećmi, które urodziły się już w sierpniu. Wśród zamordowanych 18 sierpnia była Jadwiga Halina Tulińska, będąca w siódmym miesiącu ciąży. Dwa dni później Niemcy ewakuowali załogę więzienia, a 21 sierpnia wysadzili w powietrze Pawiak oraz sąsiadujące z nim budynki.

Po więzieniu pozostał jedynie prawy słup bramy i rosnący obok wiąz. Rodziny więźniów pomordowanych przez Niemców mocowały do drzewa tabliczki z ich nazwiskami. Po wojnie wiąz stał się symbolem cierpienia Polaków. W 2004 roku, kiedy drzewo uschło, władze Warszawy podjęły decyzję, by z brązu odlać jego replikę. Rok później Pomnik Drzewa Pawiackiego ustawiono w miejscu, gdzie wcześniej rosło drzewo.