Ten średniowieczny zamek jest największą i najbardziej okazałą budowlą dawnej Bydgoszczy. Był nie tylko ostoja militarną, ale również pełnił funkcje administracyjne i sądownicze, gdyż miał tu siedzibę starosta i wszystkie podporządkowane mu urzędy (urząd grodzki, urząd starościński i podlegające im kancelarie.)

Zgodne przekazy w kronikach Jana Długosza i Janka z Czarnkowa wspominają o tym, że zamek został wzniesiony za poleceniem Kazimierza Wielkiego. Jednak budowa części warownej mogła się zacząć dopiero w 1337 roku, po odzyskaniu miasta z rąk zakonu krzyżackiego. W tym roku na podstawie porozumienia Wyszehradzkiego, Jan Luksemburski, ówczesny władca Czech, przekazał w polskie ręce czasowe posiadanie pewnych ziem, zaliczała się do nich kasztelania bydgoska.

Bardziej prawdopodobne wydaje się jednak, że prace budowlane rozpoczęto po zawarciu pokoju kaliskiego w 1343 roku, gdyż wtedy unormowanie polskich relacji z zakonem mogły sprzyjać chęci dostępowania inwestycji budowlanych, w szczególności w strefie granicznej. Nie ma konkretnych źródeł dokładnie opisujących prace nad zamkiem, ale musiały trwać co najmniej od 10 do 15 lat. Przywilej lokacyjny dla miasta Bydgoszcz, wystawiony w 1346 roku, daje nam informacje, że miasto obejmowało równinę w pobliżu miejskiej warowni, nazwanej z łaciny castrum. To określenie nie precyzuje czy były to jedynie drewniane budynki, czy murowany zamek, ale wiadome jest, że już od końca XIII wieku to słowo przypisywano jedynie architekturze murowanej, więc najprawdopodobniej mamy do czynienia z czymś bardziej trwały. Jest to znów potwierdzone w wyżej wymienionym dokumencie lokacyjnym i podpisane przez kilku burgrabiów.

Był to czas kiedy burgrabiowie i starostowie, mianowani przez króla zamieszkiwali w tych warowniach murowanych, w odróżnieniu od drewnianych grodów kasztelanów. Wszystko więc wskazuje na to, że podczas alokacji Bydgoszczy, która miała miejsce w 1346 roku, zamek był już na tyle ukończony, że mógł być w jakimś stopniu użytkowany. Zakończenie warowni najprawdopodobniej zamknęło się do lat 60 XVI wieku, gdyż na pewno w roku 1362 w zamku mieszkał starosta miejski.

Gdy umarł Kazimierz Wielki, w latach 1370 - 1377 zamek przeszedł na własność jego wnuka, księcia ziem słupsko - szczecińskich Kazimierza, zwanego potocznie 'Kaźkiem'. Musiał on czuć się dobrze w tym bydgoskim castrum, gdyż spędzał tam bardzo dużo czasu. Miała tu siedzibę jego kancelaria. Tutaj też 2 stycznia 1377 roku zmarł po odniesieniu ran podczas oblężenia Złotoryi. Jego następcą w tym zamku stał się Władysław, książę opolski. Dopiero w roku 1390 warowania powróciła we władanie polskich władz państwowych.

Podczas wojny z Krzyżakami, która odbywała się w latach 1409 - 1411, bydgoska warownia była na linii bardzo znaczących walki. W sierpniu 1409 roku, większa część wojskowych stacjonujących na zamku została wzięta do niewoli pod Świeciem, a załoga która pozostała w warowni oddała zamek Krzyżakom bez walki, nie widząc szans na jego obronę.

",,Po zdobyciu zaś złotoryjskiego zamku, widząc, iż zamku Bydgoszczy, wielce położeniem swojem warownego, /.../ wziąć w żaden sposób nie zdołają, przekupili burgrabię zamku, który otwarł krzyżakom bramy" tak opisuje Jan Długosz prawdziwą przyczynę upadku zamku, uznawanego za potężną twierdzę. Najprawdopodobniej zamek nie był odpowiedni przygotowany do takiej obrony, brakowało żywności i amunicji, a sam arsenał był jedynie przystosowany na dwie małe działa na kamienne kule. W swoich raportach zdobycznych, wojskowi zakony krzyżackiego chwalili duże walory obronne zamku, co spowodowało chęć utrzymania warowni w rękach zakonu na stałe.

Zdobycie Bydgoszczy przez Krzyżaków spowodowało bardzo szybką odpowiedz z polskiej strony. 28 września tego samego roku wojska polskie przystąpiły do kontrataku i oblężyły warownie. Po dokonaniu podstawowych, niezbędnych prac ziemnych w okolicy, zaczęto bardzo agresywny atak, który dopiero po ósmym dniu artyleryjskich strzałów został zakończony szturmem. W opisie Jana Długosza można przeczytać, że ówczesny król Władysław Jagiełło ",,W dzień zaś Św. Michała zamek Bydgoszcz silnie wojskiem otoczył i koszami jakoby murem wkoło ponad wałem opasał, poczem jął mocno z dział szturmować. Od ciągłego miotania pocisków zginął komtur i dowódca zamku. (...) Stał atoli król z swoim wojskiem przez ośm dni w borze, i zamek wciąż oblegał, ósmego dnia wziął go przemocą. A naprawiwszy rozwalone mury, oddał zamek ten Maciejowi z Łabiszyna Wojewodzie Brzeskiemu starostwem dzierżawnem". Ta próba ognia jedynie dowiodła tego, że warownia był bardzo fachową twierdzą militarną, gdyż kilkunastotysięczne wojsko polskie potrzebowało ponad tygodnia, żeby doprowadzić do kapitulacji wroga, liczącego zaledwie 42 uzbrojonych żołnierzy wewnątrz murów fortecy. Co prawda podczas intensywnego ostrzału artyleryjskiego, mury uległy pewnym uszkodzeniom, jednak zaraz po zakończeniu walk, król wydał rozkaz rychłej naprawy. Prace wtedy rozpoczęte miały jedynie załatać podstawowe braki w budowli i nie spowodowały żadnych większych zmian architektonicznych w samej strukturze budowli.

Z rokiem 1441 zamek i miejscowe starostwo zostało przekazane w zastaw długu zaciągniętego przez króla Władysława Warneńczyka. To był moment, w którym funkcja starosty, zajmującego się także twierdzą bydgoską, zaczęli sprawować królewscy wierzyciele, a oni chcieli przeprowadzić odnowienie obiektu, nad którym sprawowali pieczę.

Z końcem XV wieku ci urzędnicy opuścili zamek i zaczęli rezydować w domach w pobliskim mieście, czasem tez na podzamczu. Królowie zatrzymując się w Bydgoszczy również nie korzystali z gościnności twierdzy, gdyż posiadali swoje prywatne posiadłości na przedmieściach. Przestano się budowlą interesować, co spowodowało, że zaczęła popadać w ruinę i niszczeć. Nie można jednak jednoznacznie prześledzić całej historii zasiedlenia zamku. Wiemy, że w XVI wieku rozpoczęto remont, a najprawdopodobniej też modernizację biorącą swój początek w duchu odrodzenia. W spisie inwentaryzacyjnym miejskiego starostwa można przeczytać, że w roku 1514 przekazano na cel renowacyjny 49 florenów: z czego za 15 kupiono dachówkę, 16 poszło na roboty murarskie przy fosie, a 18 na remont samych budynków. Na początku XVII wieku Jerzy Ossoliński, starosta bydgoski w latach 1635 - 1650, dokonał gruntownej odbudowy twierdzy. Prace te sięgnęły również zupełnie zaniedbanej wieży narożnej.

Podczas potopu szwedzkiego zamek był na powrót wykorzystywany do działań wojennych. Wojsko szwedzkie zajęło zamek po raz pierwszy w sierpniu 1655 roku.

Szwedzkie panowanie na zamku trwało jeszcze wciąż do kwietnia 1656 roku, kiedy to po krótkiej ofensywie polegli przed wojskiem Stefana Czarneckiego. Podczas tych starć grupa około 100 szwedzkich obrońców przez 2 dni broniła zamku, jednak po takiej walce zostali zmuszeni do poddania się. Jednak niekorzystna pozycja strategiczna polskiej armii spowodowała, że musieli się cofnąć aż na południe i dołączyć do głównych sił wojskowych, mała grupa pozostałych w mieście wojskowych nie potrafiła sobie poradzić przed kontratakiem Szwedów i Bydgoszcz szybko została przez nich ponownie podbita. Odbito miasto dopiero pod koniec października, ale było ono bardzo mocno zniszczone, gdyż przegrywający Szwedzi stawiali bardzo zaciekły opór.

Zamek został prawie w zupełności zniszczony podczas tych starć. Było to spowodowane wielokrotna eksplozja ładunków wybuchowych, które wyniszczyły zamieszkałe skrzydła zamku i okalające twierdzę fortyfikację. Ten fakt został potwierdzony przez radę miejską w styczniu 1657 roku i zapisany w jej sprawozdaniu gdzie czytamy, że "zamek bydgoski jest całkowicie zniszczony i ogniem wypalony, a poza tym nikt w nim nie mieszka". 4 lata później w opisie starosty bydgoskiego, znajdujemy bardzo podobne stwierdzenie: "Ten na pagórku wyniosłym, murem starodawnym w kwadrat wybudowany był /.../. Teraz per iniuriam belli Suetici [wskutek bezprawia wojny szwedzkiej] minami funditus [doszczętnie] rozerwany, tak że w nim żadnej do rezydencyjej sposobności nie masz". Te opisy potwierdzają fatalny stan w jakim znajdowała się twierdza w II połowie XVII wieku.

Powszechnie się sądzi, że największych zniszczeń budowli dokonali się Szwedzi, ale jest też prawdopodobne, że armia polska, atakująca oblężonych w twierdzi Szwedów, spowodowała takie zniszczenia podczas detonowania ładunków wybuchowych zainstalowanych w tunelach wykopanych pod twierdzą. Możliwością jest też to, że warownia mogła zostać zniszczona z premedytacja przez stronę polską, przed obawą powrotu wojsk nieprzyjaciela. Brak obecności jakichkolwiek innych dokumentów uniemożliwia obiektywne stwierdzenie która ze stron rzeczywiście zawiniła i doprowadziła warownię do takiej ruiny. Pewne jest jedynie to, że zamek został wysadzony i doszczętnie spalony, co zlikwidowało jego walory obronne i mieszkalne. W piwnicach i ruinach pozostali jednak nieliczni żołnierze, którzy w ostatnim ataku wojsk nieprzyjaciela na miasto w maju 1658 roku walczyli w obronie ojczyzny. Po tym ostatecznym zniszczeniu warowni, nie została ona już dobudowana. Na pewnej ilustracji ruin z 1717 roku widnieje napis: ",Za tym miastem jest zamek, którego tylko mury popsute stoją i porozwalane są /..... Za wałem około zamku idącym jest stawek, należący do zamku, także i chałupa, w której stelmach mieszka". Ten teren nie był w kwestii zainteresowania miejskiego, aż do 1772 roku, czyli do pierwszego rozbioru Polski. Rok później większa część pozostałych murów została rozebrana, a odzyskany materiał wykorzystany do budowania pruskich koszarów wojskowych.

Zamek wraz z polami okalającymi stał na prawym brzegu Brdy. Od strony północnej ziemie zamkowe stykały się z rzeką, z zachodu zamek ograniczony była przez miasto, wschodnia część graniczyła z pięknym ogrodem i budynkami klasztoru oo. Bernardynów, a południowa część była wyznaczona przez drogę wiodącą do Bramy Kujawskiej na Inowrocław i Toruń. Róg południowo - wschodni była nazywana 'przygródkiem' (w łacinie antemurale castri), pisano o niej już w 1493 roku w opisie dotyczącym fragmentu zamku, który pełnił funkcje pomocnicze do reszty budowli.

W środku wyspy zamkowej było wzniesienie nazwane 'pagórek wyniosły' w opisie budowlanym z 1661 roku, natomiast przez kartografów pruskich określone mianem "Góry Zamkowej". Wznosił się najprawdopodobniej około 10 do 15 metrów od poziomy Brdy. Robione na tym terenie wielokrotne badania archeologiczne dowiodły, że wzgórze to zostało sztucznie uformowane na miejscu dawnego grodu z początku średniowiecza, po tym jak został zniszczony przez krzyżacki najazd w 1330 roku. Utworzono wtedy również fosę między wzniesieniem a nabrzeżem wyspy.

Budowla składała się w 3 prostopadłych skrzydeł o szerokości boku około 13 metrów, zawierających pomieszczenia mieszkalne. Był to ciężki i masywny murowany budynek o 3 kondygnacjach, pokryty dwuspadowym dachem zakończony trójkątnymi szczytami. W górnej części dachu znajdowało się małe okienko, mające na celu oświetlać całe poddasze. W części przyziemnej umieszczony był łuk odciążający, który mógł pierwotnie być wjazdem do grodu, z czasem zamurowanym.

Pierwsza kondygnacja składała się z dwóch podwójnych prostokątnych okien zrobionych w konwencji renesansowej. Każde ze skrzydeł okalało wewnętrzny dziedziniec, który miał mniej więcej 35 na 14 metrów. Przestrzeń wewnątrz twierdzy zamknięta była od wschodu mirem kurtynowym. Przed pierwszą linią tego muru odgradzającego znajdowała się wieża przejazdowa zrobiona z cegieł, która była najprawdopodobniej uzbrojona w murowane przedbramie. Całość miała wymiary 11 na 10 metrów.

Fortyfikacje były uzupełnione 3 wieżami narożnymi, znajdującymi się od północnego, południowego i wschodniego rogu warowni. Te budowle były bardzo masywne i zaopatrzone w podwójny rząd podłużnych strzelnic na ścianie znajdującej się od frontu. Na wysokość były takie same jak brama wjazdowa do twierdzy, a od góry zakryte dachem czterospadowym.

Cały budynek był ponadto otoczony pięciobocznym murem warownym, który zapewniał dodatkową linie obrony podczas defensywy. Całkowita jego długość wynosiła zapewne około 240 metrów, a na szerokość 1,5 metra. To zapewne o tym budynku jest opis z 1661 roku, w którym można przeczytać, że ten stary zamek, był zabudowany murem o kształcie kwadratu. Resztki ruin tego muru były jeszcze wciąż widoczne pod koniec XIX wieku.

W 1774 roku, dwaj bracia Schicklerowie, kupcy berlińscy, odkupili od miasta dawny zamek, stwarzając w północnej części fabrykę cukru trzcinowego. Teren został wykorzystany do budowy drogi, założono tam ogrody i zaczęto budowę pierwszych budynków Następne zniszczenia jakie poniosła warownia były w 1794 roku podczas szturmu Bydgoszczy przez nasze własne wojska pod wodzą generała Dąbrowskiego. Obszar twierdzy stał się polem bitwy miedzy armią polską a pruską piechotą. Resztki ruin zostały rozebrane w XIX wieku, a cegły odzyskane z tej rozbiórki posłużyły jako materiał budowlany do wielu kamienic w mieście, w szczególności tych, przy ulicy Długiej.

Do końca stulecia ostało się niewiele murów, które i tak zostały w końcu sprzedane za około 7500 marek. Nowy właściciel dokonał całkowitej rozbiórki do końca 1895 roku. Niedługo potem zlikwidowano pozostałości po fosie, w z początkiem XX wieku wybudowany na tym miejscu kościół ewangelicki, a dzisiejszych Jezuitów znajdujących się przy Placu Kościeleckich pod numerem 7. Niekształtne wzniesienie, które ostało się jako resztka wzgórza zamkowego dotrzymało jeszcze do początków XX wieku, tak samo się stało z fragmentem wału, widocznym jeszcze do 1910 roku. Dzisiaj na tym miejscu znajduje się Przedszkole numer 23 przy ulicy Przy Zamczysku 1.