Замок на воді є найдавнішим із виборзьких укріплень — він сягає XIII століття. У Росії це один з нечисленних пам'ятників середньовічного європейського військового зодчества, що повністю збереглися, в якому розташовується державний музей.
Визначні пам'ятки Виборзького замку
- Арсенали Праворуч до старої в'язниці примикають будинки колишніх арсеналів (складських корпусів), прибудовані до зовнішньої північної оборонної стіни. …
- Бастіон східний.
- Бастіон південний …
- Башта Олафа …
- Башта Райська.
- Вежа Шевця.
- Кріпосний вал.
- Східний корпус
Замок став резиденцією намісника шведського короля. Крім намісника та його почту в замку жив фогт (керуючий), а також священнослужителі, слуги, ремісники та численний військовий гарнізон.
Кріпосний прапор знову з'явився на замковому острові не раніше 1894, коли була закінчена реконструкція Виборзького замку та головна вежа отримала сучасний купол із флагштоком. Наприкінці 1917 р. Фінляндія здобула незалежність, і незабаром над замком здійнявся «siniristilippu» – прапор "з синім хрестом на білому полотнищі".