Najlepsze warunki do powstawania tajnych organizacji antyniemieckich panowały na terenie Generalnego Gubernatorstwa, a zwłaszcza w liczącej ponad milion mieszkańców i trudnej do kontrolowania Warszawie. Jeszcze podczas trwania kampanii wrześniowej, z inicjatywy uczestnika bitwy nad Bzurą gen. Michała Karaszewicza - Tokarzewskiego, 27 września 1939 r. utworzono militarna organizację konspiracyjną o nazwie Służba Zwycięstwu Polsce (SZP). Tokarzewskiemu udało się zaangażować do pracy w organizacji kilkudziesięciu oficerów, głównie uczestników obrony Warszawy. Najczęściej wywodzili się oni z Legionów i byli związani z obozem sanacyjnym. Jednakże polski rząd na uchodźstwie z nieufnością podchodził do działań Tokarzewskiego i SZP. Uważano, że organizacja ta jest zdominowana przez oficerów sanacyjnych i może dla nich stać się narzędziem do walki o władzę w wyzwolonej Polsce. Sikorski spodziewał się wszak, że Niemcy polegną w wojnie z Francja i Wielka Brytanią i do wyzwolenia ziem polskich dojdzie stosunkowo szybko. Dlatego też zdecydował, że na terenach okupowanych mają być tworzone podległe władzom polskim we Francji odrębne struktury wojskowe i polityczne, które powinny działać niezależnie od siebie. W listopadzie 1939 r. premier Sikorski powołał nową organizację - Związek Walki Zbrojnej (ZWZ), która miała zastąpić SZP.

Komendantem Głównym ZWZ został mianowany gen. Kazimierz Sosnkowski. Dowódcą ZWZ na terytorium okupacji niemieckiej został Stefan "Grot" Rowecki, a obszarami znajdującymi się pod okupacją sowiecką dowodzić miał gen, Michał Karaszewicz - Tokarzewski, ale nie udało mu się objąć tej funkcji, ponieważ został aresztowany przez władze radzieckie. Ze względu na ewakuacje polskiego rządu do Londynu łączność z krajem została utrudniona. Dlatego też 30 czerwca 1940 r. Rowecki został powołany na Komendanta Głównego ZWZ, któremu również podlegać miał obszar okupacji radzieckiej. Sosnkowski zachował nadzór nad ZWZ jako zastępca Naczelnego Wodza, ale całość prac konspiracyjnych skupiała się w kraju pod dowództwem Roweckiego

26 lutego 1940 r. przy ZWZ powstał Polityczny Komitet Porozumiewawczy (PKP), w którego skład wchodzili przedstawiciele największych polskich partii politycznych: Kazimierz Pużak z Polskiej Partii Socjalistycznej Wolność, Równość, Niepodległość, Stefan Korboński ze Stronnictwa Ludowego, Aleksander Dębski ze Stronnictwa Narodowego oraz generał Rowecki.. PKP stanowił polityczno - partyjne zaplecze Polskiego Państwa Podziemnego będąc organem doradczym i konsultacyjnym dla ZWZ.

Rządu emigracyjny przewidywał również utworzenie w okupowanej Polsce organu cywilnej administracji, która miał działać w konspiracji. Miała nim być Delegatura Rządu na Kraj, którą utworzono w grudniu 1940 r. W latach 1941 - 1944 konsekwentnie ją rozbudowywano Tworzono coraz gęstszą sieć okręgowych jednostek Delegatury. Jej głównym organem prasowym było pismo "Rzeczpospolita Polska". Funkcje Delegatów Rządu na Kraj sprawowali: Cyryl Ratajski w latach 1940 - 1941, odwołany przez władze w Londynie, Jan Piekałkiewicz w latach 1941 - 1943, aresztowany przez gestapo. Ostatnim Delegatem, który sprawował swą funkcję w latach 1943 - 1945 był Jan Stanisław Jankowski. W ramach Delegatury zorganizowano departamenty, które były odpowiednikami przedwojennych ministerstw. Utworzono departamenty: Spraw Wewnętrznych, Sprawiedliwości, Oświaty i Kultury, Rolnictwa, Skarbu, Komunikacji, Prasy i Informacji, Likwidacji Skutków Wojny, Przemysłu i Handlu, Pracy i Opieki Społecznej, Poczty i Telegrafów, Odbudowy i Robót Publicznych. Część z nich miała charakter studyjny i nie podejmowała aktywnych działań. Departamenty te zajmowały się obserwowaniem i analizą sytuacji, rejestrowaniem strat i przygotowaniem projektów dotyczących działania po odzyskaniu niepodległości. Niektóre z departamentów działały czynnie. Departament Oświaty i Kultury wraz z Tajną Organizacją Nauczycielską (TON) rozpoczął organizację tajnego. polskiego nauczania. Niezwykle ważną rolę odgrywał także Departament Spraw Wewnętrznych, który sprawował kontrolę nad tajną administrację terenową.

Jeszcze pod koniec września 1939 r. Związek Harcerstwa Polskiego rozpoczął konspiracyjną działalność przyjmując kryptonim Szare Szeregi. Od początku swego istnienia organizacje konspiracyjne podejmowały działania przeciwko okupantowi polegające na zrywaniu napisów i flag hitlerowskich, malowania haseł antyniemieckich itp. Do prowadzenia takiej działalności powołano w grudniu 1940 r. w ramach Szarych Szeregów Organizację Małego Sabotażu "Wawer", którym dowodził Aleksander Kamiński.

Przy Komendzie Głównej ZWZ powstało w 1940 r. Biuro Informacji i Propagandy (BIP), którego troską było przekazywanie społeczeństwu polskiemu prawdziwych i niezależnych informacji, wolnych od przekłamań hitlerowskiej propagandy. BIP wydawało główny organ prasowy ZWZ, którym był "Biuletyn Informacyjny".

Jesienią 1940 r., w ramach Biura Informacji i Propagandy, powstało Kierownictwo Walki Cywilnej (KWC). Podstawowym zadaniem KWC było kształtowanie w społeczeństwie polskim postaw i zachowań patriotycznych oraz budzenie w nim ducha oporu wobec okupanta, piętnowanie postaw niegodnych Polaka, a także prowadzenie małego sabotażu, czyli walki propagandowej ze sloganami i tezami hitlerowskimi. W kwietniu 1941 r. na czele KWC stanął Stefan Korboński.

Dnia 14 lutego 1942 ZWZ został zreorganizowany i utworzono zeń Armię Krajową (AK). Na przełomie 1943 i 1944 r. liczyła ona około 250 tysięcy żołnierzy by w połowie 1944 r. wzrosną do 350 tys. AK stanowiła zatem najpoważniejszą siłę polskiego podziemia. AK stała się częścią Polskich Sił Zbrojnych, które działały w kraju. W czerwcu 1943 r. aresztowano Stefana "Grota" Roweckiego. Funkcję Komendanta Głównego AK objął po nim gen Tadeusz "Bór" Komorowski. Naczelny Wódz kategorycznie zażądał, aby wszystkie pozostałe organizacje militarne tworzone przez poszczególne partie i stronnictwa polityczne podporządkowały się AK

W listopadzie 1942 r. powstało Kierownictwo Dywersji (Kedyw), które w ramach AK miało być odpowiedzialne za prowadzenie walki bieżącej. Kedyw powstał ze Związku Odwetu i "Wachlarza". Jego pierwszym dowódcą był płk August Emil Fieldorf. W początkach lipca 1943 r. powołano Kierownictwo Walki Podziemnej (KWP), które powstało z połączenia kierownictwa Walki Cywilnej oraz Kierownictwa Walki Konspiracyjnej. Na czele KWP, którego zadaniem była koordynacja całokształtu walki z okupantem stanął dowódca AK.

21 marca 1943 r. PKP podjął decyzję o przekształceniu się w Krajową Reprezentację Polityczną (KRP). W wydanej 15 sierpnia tegoż roku deklaracji cztery największe podziemne ugrupowania polityczne tworzące KRP uzgodniły gotowość bezkonfliktowej współpracy, do czasu wyborów w wolnej Polsce. 9 stycznia 1944 r. Delegat Rządu na Kraj ogłosił dekret o utworzeniu Rady Jedności Narodowej (RJN), która zastąpiła KRP. Przewodniczącym RJN został Kazimierz Pużak.

AK realizowało w 1944 r. na ziemiach polskich akcję o kryptonimie "Burza". Od 1 sierpnia do 2 października 1944 r. trwało w Warszawie powstanie zorganizowane przez AK.