U podstaw istnienia struktur wojskowych i cywilnych Polskiego Państwa Podziemnego leży rozkaz wydany przez internowanego w Rumunii marszałka Edwarda Rydza-Śmigłego. Dokument ten upoważniał kierującego obroną Warszawy gen. Juliusza Rómmla do podejmowania dalszych decyzji co do kontynuowania walki. Rozkaz, postawa korpusu oficerskiego wciąż przebywającego w kraju oraz tworzenie się polskich oddziałów we Francji faktycznie wykluczały możliwość kapitulacji. W sytuacji wyczerpujących się możliwości kontynuowania jawnej walki koniecznością stało się powołanie podziemnych struktur kontynuujących misję państwa na całym jego obszarze.

„Dane mi przez Naczelnego Wodza w porozumieniu z rządem pełnomocnictwo dowodzenia w wojnie z najazdem na obszarze całego Państwa przekazuję gen. bryg. Michałowi Tadeuszowi Tokarzewskiemu-Karaszewiczowi z zadaniem prowadzenia dalszej walki o utrzymanie niepodległości i całości granic” – stwierdzał w rozkazie z 26 września 1939 r. gen. Juliusz Rómmel. Kilka godzin później, w nocy z 26 na 27 września, gen. Tokarzewski-Karaszewicz zaprzysiągł pierwszych oficerów mających tworzyć dowództwo Służby Zwycięstwu Polsce.

Michał Tokarzewski-Karaszewicz był weteranem Legionów Polskich oraz Polskiej Organizacji Wojskowej. W latach 1916–18 formował struktury POW, których celem miało być uwolnienie wschodnich ziem polskich znajdujących się najpierw we władaniu carskiej Rosji, a następnie Niemiec. Do pełnienia tej misji przygotowywał się w szeregach Związku Walki Czynnej, który od 1908 r. pod dowództwem Kazimierza Sosnkowskiego i ideową kontrolą Józefa Piłsudskiego przygotowywał kadry oficerskie do przyszłej wojny o niepodległość. Struktura ZWC była podzielona na drobne oddziały zarządzane przez „okręgi” i „dzielnice”. Ostatecznym założeniem miało być wywołanie powstania w Królestwie Polskim

Twórcy Związku Walki Czynnej zdawali sobie sprawę, że są pierwszą od upadku Powstania Styczniowego strukturą konspiracyjną nastawioną na walkę zbrojną. Piłsudski i jego otoczenie byli zafascynowani funkcjonującym pół wieku wcześniej Tajemnym Państwem Polskim. Dążyli do zrekonstruowania schematów struktur podziemnych i niepopełnienia błędów swoich poprzedników, które doprowadziły m.in. do aresztowania dyktatora zrywu Romualda Traugutta. Co równie istotne, twórcy ZWC, podobnie jak twórcy Tajemnego Państwa Polskiego, utożsamiali swój program walki zbrojnej z ideami głębokich zmian społecznych. Program otoczenia Piłsudskiego zakładał dokonanie „społecznej reformy, która by ogółowi obywateli wyzwolonego kraju zagwarantowała prawo do pracy i chleba, a zamieniając ziemię na własność narodową, zwróciła ją dawnemu jej właścicielowi – milionom pracującego ludu”. Tym samym Piłsudski ostatecznie odcinał się od charakterystycznego dla idei socjalistycznych dążenia do zmian rewolucyjnych. Świadectwem tego było też stopniowe słabnięcie związków z PPS-Frakcją Rewolucyjną. U progu I wojny światowej komórki ZWC działały we wszystkich trzech zaborach oraz niektórych skupiskach polskiej emigracji.

Również Tajemne Państwo Polskie już w momencie wybuchu Powstania Styczniowego zdefiniowało cele prowadzonej walki. „W pierwszym zaraz dniu jawnego wystąpienia, w pierwszej chwili rozpoczęcia świętej walki, K. C. N. (Komitet Centralny Narodowy przekształcony w Tymczasowy Rząd Narodowy – PAP) ogłasza wszystkich synów Polski, bez różnicy wiary i rodu, pochodzenia i stanu, wolnemi i równemi Obywatelami kraju” – podkreślano w manifeście ogłoszonym 22 stycznia 1863 r.

Autorem koncepcji Tajemnego Państwa Polskiego był Agaton Giller. Pochodzący z Wielkopolski działacz niepodległościowy już od 1862 r. przygotowywał instrukcje pracy konspiracyjnej. W jednej z nich, pochodzącej z lipca tamtego roku, zaznaczał, że ostatecznym celem rodzącego się od kilkunastu miesięcy podziemia jest przygotowanie „do powszechnego, a na dobry skutek obrachowanego powstania”. Kilka tygodni później napisał odezwę, która uznawała, że Komitet Centralny Narodowy jest faktycznym rządem Polski. Co ciekawe, Giller uważał wybuch Powstania Styczniowego za przedwczesny, niedostatecznie przygotowany i sprowokowany przez władze rosyjskie.

Mimo że historia walk o niepodległość prowadzonych metodami konspiracyjnymi ma znacznie dłuższą tradycję niż Tajemne Państwo Polskie i sięga co najmniej okresu przygotowań do wybuchu Insurekcji Kościuszkowskiej, to jednak właśnie w okresie Powstania Styczniowego uruchomiono struktury o charakterze cywilnym. Ich przeznaczeniem miało być koordynowanie lokalnych siatek życia codziennego. Instytucje Tajemnego Państwa Polskiego nadzorowały pobór podatków, działanie prasy, pocztę, uwłaszczenie chłopów, zwalczanie współpracy z zaborcą, a nawet druk obligacji. W realiach walki partyzanckiej jego symbolem była umieszczana na dokumentach oraz drukach propagandowych pieczęć Rządu Narodowego łącząca herby Polski, Litwy i Rusi oraz hasło „Równość, wolność, niepodległość”. Zgodnie z ideowym przesłaniem odezw władz powstańczych oraz symboliczną pieczęcią struktury Tajemnego Państwa Polskiego objęły niemal cały obszar ziem Rzeczypospolitej zagrabionych przez Rosję. Rząd uznawał również, że sprawuje władzę nad całym obszarem RP sprzed I rozbioru. Obok instytucji państwowych powoływano liczne formacje społeczne współpracujące z lokalnymi przedstawicielami Tajemnego Państwa, m.in. komitety skupiające kobiety zajmujące się opieką nad rannymi lub pomocą dla rodzin poległych.

Uznając się za w pełni pełnoprawne, Tajemne Państwo Polskie rozpoczęło także budowę struktur dyplomatycznych. 15 maja 1863 r. w Paryżu utworzono Agencję Główną reprezentującą rząd na arenie międzynarodowej. W ciągu kilku kolejnych miesięcy przedstawicielstwa Agencji założono w dziesięciu krajach europejskich. Przez niemal cały okres zaborów istniały kontakty między ośrodkami polskiej emigracji w Europie Zachodniej a krajem. Szczególną rolę odgrywali „agenci” stronnictwa Hôtelu Lambert. Stojący na jego czele książę Adam Jerzy Czartoryski przez wielu uznawany był za emigracyjnego władcę Polski.