Після укладання між Польщею та Литвою Люблінської унії в 1569 році та втрати замком статусу княжої резиденції, головною спорудою двору став будинок єпископа, а сам Луцький замок з середини XVI століття набуває славу центру духовної та судової влади Волині. А після остаточного розділу Речі Посполитої (1795 р.), Луцький замок стали використовуватися в якості канцелярії, архіву та казенного житла. В XX ст. Луцький замок спочатку належав Польщі, а з 1945 р. – УРСР. Сьогодні ж це частина історико-культурного заповідника «Старий Луцьк».
Згідно з переказами, на початковому етапі своєї історії (коли укріплення були тільки з дерева) власник цих земель, князь Любарт, одружився з місцевою княжною Бушею (інші джерела називають її Агрипіною). Саме тоді розпочався активний процес будівництва саме кам’яного замку. З одного боку це був логічний розвиток фортифікаційної споруди, але дехто каже, що це будівництво було своєрідним подарунком коханій дружині Любарта.
Так це чи інакше, але Буша (або Агрипіна) не дожила до кінця будівництва. Князь оплакував її, але вирішив справу довести до кінця. Відтоді Луцький замок прикрашають три вежі: В’їзна, Владича і Стирова, хоча людям більше сподобались їх символічні назви: вежі Віри, Надії та Любові. Будівництво мурів та веж ховало в собі невеличкий секрет (особливо неприємний для ворогів) – у розчин бетону додавали курячі яйця, що зміцнювало його структуру.