Z chwilą zawarcia unii polsko-litewskiej, Polska została zaangażowana w konflikt z Zakonem Krzyżackim, który rywalizował z Litwą m.in. o Żmudź, zamieszkałą przez ludność litewską. Ziemie te miały bardzo ważne znaczenie dla Zakonu, bowiem oddzielał one jego tereny od Inflant, gdzie władał połączony z Krzyżakami, Zakon Kawalerów Mieczowych. Stworzenie jednolitości państwa krzyżackiego wymagało więc odebrania Litwinom Żmudzi i narzucenie jej mieszkańcom - poganom, religii chrześcijańskiej. Opanowanie tej ziemi, dokonane przez Krzyżaków, odbyło się właśnie pod pretekstem haseł chrystianizacji. W rzeczywistości było jednak zwykłym, nie mających podstaw prawnych, zaborem ziem należących do innego państwa.

Do pierwszego poważnego konfliktu zbrojnego między Polską i Litwą a Zakonem Krzyżackim doszło w latach 1409-1411. Przyczyną bezpośrednią konfliktu stało się poparcie, jakie udzielił książę litewski Witold, powstańcom antykrzyżackim na Żmudzi. W odwecie Zakon najechał na ziemie polskie w 1409 roku. W 1410 roku rozpoczęła się wielka ofensywa wojsk polskich, które po przejściu Wisły pod Czerwińskiem, połączyły się z armią litewską dowodzoną przez księcia Witolda. Nad połączonymi siłami polsko-litewskimi dowództwo objął sam król Władysław Jagiełło. Wojska krzyżackie zaś dowodzone były przez wielkiego mistrza Ulricha von Jungingena. 15 lipca 1410 roku niedaleko wsi Grunwald (według oficjalnej historii niemieckiej niedaleko Tannenberga) doszło do bezpośredniego spotkania obu wojsk. Siły polskie liczyły około 30 tysięcy. Miały przewagę liczebną nad wojskami krzyżackimi, które liczyły 20 tysięcy, z tymże że były to oddziały ciężkiego rycerstwa, lepiej uzbrojone od polskich i litewskich przeciwników. Władysław Jagiełło, wbrew średniowiecznej tradycji, nie brał osobistego udziału w wojnie, lecz z niewielkiego wzgórza kierował ruchami swych wojsk. Prawe skrzydło - polskie dowodzone było najprawdopodobniej przez Zyndrama z Miszkowic, lewe - litewskie przez Witolda. Pierwsze ruszyły do ataku chorągwie litewsko-ruskie. Jednak silne uderzenie krzyżackiej ciężkiej jazdy zmusiło Litwinów do wycofania się, czyli ucieczki lub przebicia się ku Polakom, którzy atakowali prawe skrzydło krzyżackie. Po kilkugodzinnym boju, Polacy zasilani swoimi rezerwami, zepchnęli Krzyżaków z placu bojów w kierunku bagien i zdobyli ich tabor. Na polu walki poległ wielki mistrz krzyżacki, a wielu zakonników dostało się do niewoli, resztki zaś schroniły się w twierdzy w Malborku, obleganej prze wojska polskie. Klęska Zakonu wywarła wielkie wrażenie. W październiku 1410 roku wojska polskie pokonały Krzyżaków w kolejnej bitwie pod Koronowem. Wykorzystując oba sukcesy Jagiełło dążył do zawarcia jak najszybszego pokoju z Zakonem. Został on podpisany w lutym 1411 roku w Toruniu. Na jego mocy Zakon zrzekł się Żmudzi do czasu śmierci Jagiełły i Witolda oraz zgodził się na sąd polubowny w sprawie Drezdenka i Santoka a także zrezygnował całkowicie z pretensji do ziemi dobrzyńskiej (zajętej w 1409 roku). Przegrana Zakonu, odbiła się na jego dalszych losach. Krzyżacy stracili bowiem inicjatywę, która tym razem przeszła w ręce Polaków. Od 1411 roku działania Zakonu ograniczały się w zasadzie jedynie do obrony, czyli defensywy, rezygnując jednocześnie z działań zaczepnych - ofensywy.

W ciągu najbliższych czterdziestu lat po wielkiej bitwie pod Grunwaldem stosunki polsko-krzyżackie nie były pokojowe. Obfitowały one w pasmo konfliktów zbrojnych. Już trzy lata po zawarciu pierwszego pokoju toruńskiego, w 1414 roku doszło do wybuchu kolejnej wojny. Postanowienia traktatu pokojowego, kończącego tą wojnę, były w zasadzie powtórzeniem postanowień pokoju toruńskiego. W 1419 roku wojska polskie wkroczyły do Prus, rozpoczynając tym samym kolejną wojnę. Pokój, który został zawarty w 1422 roku nad jeziorem Mielno, przyznawał Litwie bez ograniczeń Żmudź, a Nieszawę i parę innych miejscowości Polsce. Kolejna wojna wybuchła w latach 30-tych. Była ona bardzo wyniszczająca dla obu stron. Koszt związany z prowadzeniem działań zbrojnych, powodował wzrost podatków w państwie krzyżackim, co z kolei wywoływało ogromne bunty tamtejszego społeczeństwa. Poza tym Królestwo Polskie było bardzo atrakcyjne dla szlachty pruskiej, jako kraj wielkich przywilejów. Dlatego też stany pruskie wymusiły na Krzyżakach zawarcie pokoju z Polską w 1434 roku w Brześciu Kujawskim, który gwarantował możliwość wolnego handlu, a w przyszłości możliwość współpracy gospodarczej Polski z Prusami. Jednak nadal duże podatki (tzw. ucisk fiskalny) oraz problemy w prowadzeniu handlu ze stroną polską, doprowadziły do zorganizowania się przez szlachtę i mieszczaństwo pruskie w 1440 roku w tzw. Związek Pruski, będący tak naprawdę opozycją wobec Krzyżaków. Nawoływał on do powstałego w 1397 roku polskiego Związku Jaszczurczego. W 1453 roku Krzyżacy uzyskali od cesarza (Zakon wchodził w skład Świętego Cesarstwa Rzymskiego Narodu Niemieckiego) wyrok ogłaszający likwidację związku i ukaranie ich przywódców. Związek odpowiedział na to powstaniem i wysłał do Krakowa poselstwo z prośbą o wcielenie ich ziem do Polski. W marcu 1454 roku król Kazimierz Jagiellończyk wydał akt inkorporacyjny, włączający ziemie Prus i Pomorza do Korony oraz nadający tym terenom szeroki samorząd polityczny oraz przywileje gospodarcze. Z chwilą ogłoszenia aktu Polska wypowiedziała wojnę Zakonowi. 18 września 1454 roku doszło do wielkiej bitwy pod Chojnicami. Wojskami krzyżackimi dowodził Bernard Szumborski. Bitwa ta zakończyła się całkowita klęską wojsk polskich. W ciągu 1455 roku Zakon odzyskał większość utraconych ziem. Malbork został wykupiony przez stronę polską w 1457 roku, choć same miasto po długim oblężeniu zostało zdobyte dopiero w 1460 roku. Do 1461 szala zwycięstw była po stronie krzyżackiej. Taką sytuację zmieniało dopiero zwycięstwo Piotra Dunina pod Świecinem nad Jeziorem Żarnowieckim i pobicie wielkiego mistrza krzyżackiego na Zalewie Wiślanym. Położenie Zakonu było dość ciężkie. Od czasów zdobycia przez Polaków Chojnic, Zakon został odcięty od pomocy zagranicznej, która szła tą drogą lądową. Wszystko to doprowadziło do zawarcia drugiego, tym razem kompromisowego pokoju toruńskiego w 1466 roku. Na jego mocy Polska odzyskała dawne Pomorze Gdańskie i Gdańsk oraz ziemie: chełmińską i michałowską, warmińskie księstwo biskupie, Malbork oraz Elbląg. Wszystkie te ziemie nazwano Prusami Królewskimi. Pozostała część państwa zakonnego ze stolicą w Królewcu - tzw. Prusy Krzyżackie, stały się lennem Polski. Do rady królewskiej wszedł wielki mistrz zakonu, do którego w myśl postanowień mogli wstępować Polacy. Nie oznaczało to jednak, że Krzyżacy pogodzili się z takim stanem rzeczy.

Kiedy w 1511 roku na wielkiego mistrza został wybrany Albrecht Hohenzollern, siostrzeniec Zygmunta I Starego, doszło do nowych zatargów polsko-krzyżackich. Próbował on bowiem w porozumieniu z Rosją, z cesarzem i z Brandenburgią uniezależnić się całkowicie od Polski. W 1519 roku wybuchła kolejna wojna. Strona polska odniosła w niej wielkie sukcesy, m.in. dzięki zastosowaniu artylerii. Polacy zdobyli kilka ważnych punktów oporu krzyżackiego, m.in. Kwidzyń. Słabość wewnętrzna Zakonu nie pozwalała jednak na prowadzenie szerokiej kampanii wojennej. Mimo zdobycia kilku zamków (Olsztyn został obroniony przez Mikołaja Kopernika), w skutek braku pomocy finansowej z Zachodu, w 1521 roku Zakon zmuszony był prosić o rozejm.

Wśród ludności państwa zakonnego dużo zwolenników zdobył rozwijający się w Niemczech luteranizm. Sam Albrecht Hohenzollern zmienił swą dotychczasową taktykę i postanowił utworzyć zależne od Polski świeckie księstwo protestanckie, które zapewniałoby mu tron, a dostojnikom zakonu - dziedziczne włości. Dlatego też zaproponował królowi polskiemu Zygmuntowi Staremu sekularyzację (zeświecczenie) ziem zakonnych i przekształcenie państwa krzyżackiego pod swoim dziedzicznym panowaniem, jako lenna państwa polskiego. Księstwo luterańskie traciło tym samym oparciu w papieżu i cesarzu (Karol V), pozostając całkowicie uzależnione od Polski. Prusy Książęce - stały się tak naprawdę pierwszym w Europie krajem protestanckim. Stolicą nowego państwa stał się Królewiec (Konigsberg), miasto założone w 1255 roku. 8 kwietnia 1525 roku został zawarty traktat między Zygmuntem Starym a Albrechtem. Dwa dni później Albrecht złożył na rynku w Krakowie, jak przystało na lennika, hołd z dziedzicznego księstwa Prus. Został on zobowiązany do pomocy zbrojnej i otrzymał godność senatora. Polska uzyskiwała prawo powoływania sądu apelacyjnego do rozstrzygania sporów między księciem a jego poddanymi. Traktat przewidywał także, że do dziedziczenia Księstwa Pruskiego będą mieli prawo wyłącznie potomkowie Albrechta i jego rodzonych braci. W razie ich bezdzietności ziemie te przejdą do Polski. Zakazano również łączyć posiadania Prus Książęcych z władzą w Brandenburgii.

Początkowo nowo powstałe państwo zabezpieczało Polskę od północy, a Jagiellonowie uzyskali nad Bałtykiem ważne znaczenie polityczne. Po latach okazało się jednak, ze państwo to stało się tak niebezpieczne dla Polski, jak kiedyś państwo Zakonu Krzyżackiego. Niemniej jednak okres konfliktów polsko-krzyżackich, z chwilą złożenia hołdu, został ostatecznie zakończony.

Sekularyzacja Prus oznaczała tak naprawdę likwidację średniowiecznego i już anachronicznego (przestarzałego) tworu państwowego, jakim było państwo Zakonu Krzyżackiego. Ci, zakonnicy, którzy nie chcieli przejść na luteranizm wyemigrowali do Rzeszy. Sam Zakon pozostał jednak wierny Habsburgom, którzy sprawowali nad nim pieczę do 1918 roku.