Inicjatywa utworzenie polskiego podziemia niepodległościowego (wojskowego i politycznego) pojawiła się już w czasie trwania kampanii wrześniowej. Głównym jej zwolennikiem, jak i organizatorem był generał Michała Tokarzewski-Karaszewicz - były minister spraw wojskowych i członek POW, czyli Polskiej Organizacji Wojskowej powiązanej niegdyś bezpośrednio z marszałkiem Józefem Piłsudskim. To właśnie w wyniku jego działań dnia 27 września 1939 roku powołano do życia organizację wojskowo-polityczną o nazwie Służba Zwycięstwu Polski (SZP). Jej głównym celem była walka z okupantem niemieckim i radzieckim. Zastępcą gen. M. Tokarzewskiego-Karaszewicza oraz szefem sztabu nowej konspiracyjnej organizacji został płk Stefan Rowecki :Grot". Kwestie polityczne SZP miała zająć się, powołana na początku X 1939 roku Rada Główna Obrony Narodowej. Na jej czele stanął początkowo Mieczysław Niedziałkowski z Polskiej Partii Socjalistyczne (PPS)j, zastąpiony wkrótce (w wyniku aresztowania) przez Kazimierza Pużaka, także z PPS. W skład RGON wchodzili przedstawiciel prawie wszystkich ówczesnych partii politycznych, takich jak: PPS, Stronnictwo Ludowe - SL (reprezentowane przez Macieja Rataj, a po jego aresztowaniu przez Stefana Korbońskiego), Stronnictwo Narodowe - SN (reprezentowane przez Leona Nowodworskiego) oraz Stronnictwo Demokratyczne - SD (reprezentowane przez Mieczysława Michałowicza).

SZP jako konspiracyjna organizacja działająca w kraju została utworzona z mandatu marszałka Edwarda Rydza-Śmigłego, wbrew zadowoleniu gen. Władysława Sikorskiego. Sytuacja taka rozgrywała się na fali rozliczeń z ekipą sanacyjną (oskarżana o faszyzację kraju i klęskę w kampanii wrześniowej), którą reprezentował marszałek E. Rydz-Śmigły, a którą zwalczała gen. W. Sikorski. Dlatego też już w styczniu 1940 roku gen. W. Sikorski, przebywający na emigracji, wysłał do kraju swego emisariusza, który rozwiązał SZP i powołał na jej miejsce teoretycznie nową organizację o nazwie Związek Walki Zbrojnej (ZWZ). Organizacja ta różniła się tym od swej poprzedniczki, iż powołana została przez środowisko ludzi nie związanych z reżimem sanacyjnym, jednak jej kadra i struktura został zaczerpnięta niemal całkowicie z SZP. Rozkaz w sprawie jej utworzenia gen. W. Sikorski wydał dnia 13 listopada 1939 roku. ZWZ w przeciwieństwie do SZP był organizacją o charakterze wojskowym (SZP była organizacja wojskowo-polityczną). Komendantem głównym ZWZ został, przebywający w Paryżu gen. Kazimierz Sosnkowski, którego w kraju reprezentowali tak naprawdę pułkownik Stefan Rowecki (komendant okupacji niemieckiej) oraz założyciel SZP gen. M. Tokarzewski-Karaszewicz (komendant okupacji sowieckiej, aresztowany w marcu 1940 roku przez NKWD, czyli Ludowy Komisariat Spraw Wewnętrznych ZSRR). ZWZ w świetle zamierzeń miał być organizacją ogólnonarodową, ponadpartyjną i ściśle wojskową.

Sprawami politycznymi na emigracji miał zajmować się, powołany przez gen. W. Sikorskiego w Paryżu dnia 8 listopada 1939 roku Komitet Ministrów do Spraw Kraju, na czele którego stanął także gen. K. Sosnkowski (jak wiadomo późniejszy komendant ZWZ). Po aresztowaniu głównych przedstawicieli RGON, dnia 26 lutego 1940 roku powołano do życia Polityczny Komitet Porozumiewawczy (PKP) z siedzibą w Warszawie, który miał działać przy ZWZ i zajmować się sprawami wyłącznie politycznymi. W jego skład wchodzili przedstawiciele różnych partii politycznych: Kazimierz Pużak z PPS - WRN (w czasie konspiracji PPS przyjęło dodatkowy człon nazwy Wolność, Równość, Niepodległość), Aleksander Dąbski ze Stronnictwa Narodowego (SN), Stefan Korboński ze Stronnictwa Ludowego (SL) oraz Franciszek Kwieciński ze Stronnictwa Pracy (SP)- tzw. "gruba czwórka". Od listopada 1939 roku ukazywał się wydawany początkowo przez SZP, a następnie przez ZWZ "Biuletyn Informacyjny" (tygodnik). W czerwcu 1940 roku Polityczny Komitet Porozumiewawczy (PKP) został przekształcony w Główny Komitet Polityczny (GKP), który poza swą centralą w Warszawie działał także w innych większych miastach, takich jak: Poznaniu, Krakowie, Wilnie, czy Lwowie.

Już na wiosnę 1940 roku doszło do reorganizacji władz podziemnych. 18 czerwca 1940 roku, zgodnie z rozkazem gen. K. Sosnkowksiego, gen. Stefan Grot-Rowecki został mianowany zastępcą komendanta głównego ZWZ z prawem decyzji w wypadku utraty łączność z rządem. Kilka dni później, dokładnie 30 czerwca 1940 roku w depeszy wysłanej z Anglii , ustanowiono Komendę Główna ZWZ w kraju, na czele której stanął właśnie gen. S. Rowecki. W tym samym niemal czasie GKP przejął funkcje Delegatury Rządu RP na Kraj. 3 grudnia tegoż roku gen. W. Sikorski na stanowisko Delegata Rządu RP na Generalne Gubernatorstwo mianował Cyryla Ratajskiego z SP. Nominacja ta oznaczała przystąpienie do budowy struktury administracyjnej państwa podziemnego. Delegatem Rządu RP na Ziemie Zachodnie (wcielone do Rzeszy) został Adolf Bniński. Delegat Rządu RP na Kraj miał być łącznikiem miedzy rządem na emigracji a siłami w kraju. Jego zadanie polegało także na ścisłej współpracy z różnymi środowiskami politycznymi. Cały aparat Delegatury wzorował się na przedwojennej strukturze rządu. Powstały zatem odpowiednie departamenty: oświaty, kultury, spraw wewnętrznych, informacji i prasy oraz opieki społecznej.

Oprócz wyżej wymienionych wspólnych akcji różnych środowisk w kraju, rodziły się także mniejsze przedsięwzięcia. Także każde stronnictwo polityczne organizowało, początkowo w ramach swej wewnętrznej działalności, własne organizacje wojskowe. Stronnictwo Ludowe, które od lutego 1940 roku wznowiło się swą działalność jako Centralne Kierownictwo Ruchu Ludowego "Roch", już w sierpniu utworzyło Straż Chłopską, przemianowaną następnie w Bataliony Chłopskie (BCh). Na ich czele jako komendant stanął Franciszek Kwieciński. Stronnictwo Narodowe powołało do życia Narodową Organizację Wojskową (NOW). Stronnictwo Demokratyczne i Stronnictwo Pracy nie utworzyły własnych organizacji woskowych. Poza tym działaniami sabotażowo-dywersyjnymi kierował powołany w 1940 roku Związek Odwetu, a akcjami ośmieszającymi okupanta hitlerowskiego kierowała Organizacja Małego Sabotażu "Wawer", utworzona w Szarych Szeregach pod dowództwem Aleksandra Kamińskiego. Już w 1939 roku powstał TON, czyli Tajny Ośrodek Nauczania, który organizował nauczanie gimnazjalne i akademickie w podziemiu.