W odległych czasach na wysepce Jeziora Ełckiego powstała pierwsza strażnica Jaćwingów. Krzyżacy na wyspie Jeziora Ełckiego wznieśli drewniany zamek, zburzony przez wojska polskie pod wodza Władysława Jagiełły. W latach 1398-1406 w tym miejscu odbudowano kamienno-ceglany zamek. Budowę nadzorował ówczesny komtur, późniejszy Wielki Mistrz Zakonu - Urlich von Jungingen.  Zbudowany został na wyspie Jeziora Ełckiego połączonej z lądem drewnianym mostem zwodzonym. Miał on położenie strategiczne oraz dawał dobre zabezpieczenie okolicznej ludności.

Zniszczony był w 1410 roku, odbudowany pod koniec stulecia. Po sekularyzacji zakonu w 1525 roku, ełcki zamek był siedzibą starosty, potem stał się także siedzibą sądów. Duży pożar w 1833 roku wymusił spory remont, który zmienił wygląd dawnej warowni, którą później zaadaptowano na więzienie. W XIX wieku wyspę połączono groblą, czyniąc ją tym samym półwyspem. Dawny zamek krzyżacki zaczął pełnić rolę więzienia.

Most na jeziorze z 1913 r. prowadzi na wyspę zamkową na Jeziorze Ełckim. Na pylonach są lampy do oświetlenia gazowego.