А в 1492 году великий князь Александр отдал город богатейшему белорусскому магнату Петру Кишке (он умер в 1534 г.). Таким образом, Несвиж стал владением известного рода, одна из представительниц которого, Анна, в 1513 году стала по счету третьей женой Яна Радзивилла (1474–1522), прозванного «Бородатым». Это Ян получил город во владение как приданое невесты. В 1533 году Несвиж окончательно перешёл к Радзивиллам.
В 1547 году сын Яна Радзивилла «Бородатого» — Николай Радзивилл «Чёрный» (1515–1565) — добился титула князя Священной Римской империи для своего рода, а город сделал своей резиденцией, значение которой возросло в 1586 году после придания ей юридического статуса неделимого наследственного владения (ординации), передающегося только старшему сыну в семье. Фактически ординация оставалась в руках Радзивиллов до 1939 года.
Прочность и стабильность положения Радзивиллов в иерархии магнатов BKЛ объясняется тем, что брак двоюродной сестры Барбары (1520–1551) с королем польским и великим князем литовским Жигимонтом II Августом (венчание произошло в 1547 году) открыл огромные возможности Николаю «Чёрному» и другим Радзивиллам по устройству политической карьеры, от благополучия которой напрямую зависело благосостояние рода. В целом Николай Радзивилл «Чёрный» по своему богатству и влиянию был вторым человеком в государстве после великого князя. Доказательством тому служит то, что в замке хранилась «Метрика ВКЛ» — второй экземпляр архивных документов, касающихся истории княжества. В связи с этим Несвиж стали в обиходе называть «некоронованной столицей» Великого Княжества Литовского, Русского и Жамойтского.
Бурный расцвет города начался в XVI веке. Он связан преимущественно с именем князя Николая Христофора Радзивилла «Сиротки» — сына Николая Радзивилла «Чёрного». Получив в наследство от отца деревянный Несвиж, он провёл огромную работу по его реформированию — деревянные постройки были заменены каменными строениями, а хаотичность средневекового города преобразована в регулярную квартальную систему, сохранившуюся до настоящего времени. У въездов в город были построены каменные ворота с башнями (брамы) — Замковая, Слуцкая, Клецкая и другие.
Несвижский замок в период реконструкции. Вид сверху Не осталась в стороне от реформ и жизнь горожан. Вернувшись из путешествия по Средиземноморью и странам Ближнего Востока, «Сиротка» пропитался духом перемен. Воплощая свои идеи в жизнь, на первом этапе он освободил мещан от многих феодальных повинностей, ослабил налоговое бремя и превратил город в типично европейский, привлекая в него торговцев и ремесленников. Несвиж быстро развивался — здесь появились школа, парикмахерская, госпиталь. Начали действовать ткацкий и портняжный, слесарный и скорняжный цеха. Чуть позже, уже в XVIII веке, наладилось мануфактурное производство и мастерская художественного литья.
В 1562 году в Несвиже открылась типография, в которой печатались первые на территории Беларуси книги на белорусском языке (в 1562–1571 гг. их создавали известные просветители Симон Будный и Василий Тяпинский). Позднее, благодаря стараниям Франтишки Урсулы Радзивилл (1705–1753), увлекавшейся литературой и театром, Несвиж стал ещё и родоначальником отечественного театрального искусства, ведь первый стационарный театр был открыт именно здесь. Театральные представления показывались на открытой площадке, имевшей форму подковы, которая существует и поныне. Поначалу являясь любительским, театр постепенно перешёл на профессиональный уровень и стал давать представления за пределами города.
Ядром города сейчас, как и в прежние века, является Рыночная площадь (ныне Центральная), в центре которой стоит ратуша с высокой шестиярусной башней, символизирующей Магдебургское право, дарованное городу в 1586 году. В ратуше ранее располагались кабинет бургомистра, магистрат, канцелярия, зал суда, казна и архив, к ней сходились основные городские улицы. Начиная с XVII века, ратуша постепенно «обросла» торговыми рядами, впоследствии образовавшими замкнутый П-образный контур. Архитектурный ансамбль площади претерпел значительные изменения в середине XX века во время ее перестройки под современные нужды.
Строительство самого Несвижского замка началось в 1583 году. Впоследствии он перестраивался много раз и в результате приобрел вид шикарного дворца, сочетающего в себе черты многих архитектурных стилей — от ренессанса до модерна.
Как же выглядел замок первоначально? За оборонительными укреплениями находилось три каменных корпуса, которые образовывали внутренний двор. Центральный корпус напротив въездных ворот дворца занимал непосредственный основатель замка. Это было трёхэтажное здание с небольшими восьмигранными башнями по углам. Слева от центрального корпуса находился трёхэтажный казарменный корпус с высокой дозорной башней, а справа — хозяйственное здание.
За короткий исторический срок (1584–1616 гг.) при участии белорусских и итальянских мастеров и с учетом последних достижений фортификационного искусства в Несвиже вырос замок, а само поселение, расположенное поодаль от него, было опоясано рвом и валом. Путем расширения русла реки Уша и постановки плотин, в городе появились шесть прудов, которые существуют и теперь. Они составляют единую каскадную систему с перепадами уровней примерно в один метр. Добывавшийся при создании прудов грунт использовался для сооружения земляных укреплений и основы для возведения замка. Замковый вал являл собой искусственно созданную насыпь высотой до 20–25 метров. Изначально весь вал был облицован смешанной каменно-кирпичной кладкой, а по углам его располагались бастионы с пушками. Помимо валов и бастионов с артиллерийской батареей имелся ров, заполненный водой, через который был переброшен подъемный мост. Самым древним строением на замковой горе являлась так называемая «камяница» с дозорной башней, проект которой датируется 1582 годом.
В последующие времена корпусы перестраивались, объединялись архитектурными вставками, образовав замкнутый парадный вход. С тыльной стороны центрального корпуса появилась двухэтажная пристройка с террасой и небольшими башенками. Центральный двор замка представлял собой плац, выложенный булыжником. Осадный колодец, сохранившийся до нашего времени, являлся обязательным атрибутом любого замка.
В замке было 12 залов, которые имели названия в зависимости от отделки и предназначения: Золотой, Мраморный, Гетманский, Портретный, Голубой, Рыцарский, Охотничий и другие.
Монументальная каменная застройка конца XVI–XVII вв. была сформирована замком, брамами, костелами, монастырями бернардинцев (1598 г.), бернардинок (1591 г.), доминиканцев (1672 г.); иезуитским костёлом Божьего Тела (1593 г.) и другими интересными сооружениями.
Работы по благоустройству замка и города продолжил Кароль Станислав Радзивилл, по прозвищу «Пане Коханку». Этот человек вошел в историю как самый богатый, любвеобильный и непредсказуемый представитель семейства, а его чудачества послужили поводом для рождения многочисленных преданий и анекдотов. К примеру, однажды в жаркую летнюю ночь он пообещал своим знатным гостям, что утром наступит зима. Магнат приказал посыпать дорогу до замка дорогостоящей по тем временам солью и наладил по ней катание на санях. Несмотря на свою взбалмошность, «Пане Коханку» в то же время был значимой политической фигурой и ярым оппонентом Екатерины II. Это послужило причиной опалы, 14-летней ссылки в Западную Европу, конфискации имущества, лишения титулов и регалий, что стало тяжелым испытанием для князя.
На протяжении долгих столетий Несвижский замок имел большое военно-стратегическое значение. В частности, в XVII веке артиллерия замка включала больше сотни пушек. Сооружение было сильно разрушено шведами в 1706 году во время Северной войны, но к 1726 году его удалось восстановить.
В XVIII веке замок приобрёл тот облик, каким мы видим его сейчас: пышная отделка в стиле барокко, ажурные балконы и миниатюрные башенки. Кроме наземных сооружений, Несвижский замок может похвастаться многочисленными подземельями и усыпальницей с саркофагами Радзивиллов — единственным сохранившимся в Восточной Европе некрополем исторической фамилии.