Нельзя сказать, чтобы Александр II не заметил обострения политической ситуации в первые годы отмены крепостного права. Но вряд ли он понял возможные последствия и опасность для государственной власти возникшей в обществе конфронтации политических сил. Во всяком случае, его не насторожил протест и выход в отставку либеральной профессуры Петербургского университета в ответ на реакционные меры Министерства народного просвещения осенью 1861 г., гонения на либеральную администрацию Калужской губернии, притеснения мировых посредников новым министром внутренних дел Валуевым. Он санкционировал арест либеральных мировых посредников Тверской губернии во главе с А. М. Унковским в 1862 г. С большим опозданием он отреагировал на развитие национально-освободительного движения в Польше. Одним росчерком пера он устранял либеральных министров и государственных деятелей с постов, одновременно пользуясь их программами и проектами. Потому, в частности, что действовал не в силу убеждений, а в силу обстоятельств — постоянно менявшегося соотношения политических сил в высших эшелонах власти и в обществе.
Но если говорить о главном направлении политики Александра II в первые годы после отмены крепостного права, то неоспоримым остается факт, что либеральные реформы интенсивно продолжались: в 1863 г. отмена телесных наказаний (17 апреля — в день рождения императора), новый университетский устав 1863 г., в 1862 г. — гласность государственного бюджета, в 1864 г. — земская реформа и Судебные Уставы 19 ноября, началась подготовка военной реформы, и во главе военного министерства поставлен сторонник преобразований Д. А. Милютин. Александр II сознательно шел на введение новых институтов — всесословного выборного местного самоуправления в уездах, губерниях, городах, совершенно нового для России судоустройства и судопроизводства с независимостью и несменяемостью судей, с присяжными заседателями из всех сословий (среди которых представительство крестьян было очень значительным), с выборным мировым судом — низшей инстанцией введенного судоустройства, он признал либеральную программу преобразования всей системы народного просвещения, постепенно, после длительных оттяжек он согласился на отказ от рекрутских наборов и переход к всесословной воинской повинности. Однако он не смог подняться до понимания необходимости общей программы преобразований во всех сферах государственной и общественной жизни, согласованной и целенаправленной, не смог выйти за рамки государственной системы, связанной корнями с крепостным правом, сам оставаясь ее пленником. Более того, принимая новое законодательство, он вскоре допускал реакционные коррективы, искажавшие его (как тогда говорили, «новеллы» к реформам). Эта двойственность и непоследовательность подрывали авторитет дела Великих реформ и вызывали недоверие общества к власти и ее высшему выражению — к монарху.
Отчаянные тревоги деятелей крестьянской реформы Д. А. Милютина (отстраненного самодержавной властью от ее реализации) и его сторонников о слабости гарантий принятого либерального курса, о необходимости иметь в обществе опору в виде партии середины (le centre) для поддержки начатой в государстве перестройки были чужды Александру II. В поляризации политических сил, в усилении и активизации реакции и революционного экстремизма, ослаблении либералов, апатии и усталости общества он не увидел, не осознал грозящую делу реформ и ему лично катастрофу. Выстрел Д. Каракозова у ворот Летнего сада 4 апреля 1866 г. — первый предвестник трагического конца царя-освободителя через 15 лет. Но это уже другая страница его жизни.
Человек храбрый, не раз проявивший свое бесстрашие, Александр II был потрясен этим первым покушением. Не страх за собственную жизнь, а сознание, что стрелял в монарха России, в «помазанника Божия», русский человек, а не поляк, как ему сначала показалось, было тяжелым откровением и превосходило его понимание. Спустя десять дней после покушения Каракозова Александр II поддержал предложение Священного Синода об «учреждении ежегодного повсеместного совершения в 4-й день апреля крестного хода на городские площади… с целодневным звоном». Митрополит московский Филарет, признанный авторитет и человек государственного ума, тогда же высказал обер-прокурору. Священного Синода свое удивление: «Надобно ли каждый год торжественно напоминать народу, что возможно восстание против царя, которое он прежде почитал невозможным». Сын по-своему повторил отца: Николай I ежегодно 14 декабря в Аничковом дворце собирал преданных ему генералов, подавивших выступление декабристов, Александр II на одиннадцатом году своего царствования сделал день первого покушения на него также датой памятной, но, соответственно эпохе, придал ей более «демократический», всенародный характер.
Середина 60-х годов была временем глубоких переживаний и потрясений в жизни Александра II, не только в политической, но и в личной.
В мае 1865 г. в Ницце скоропостижно скончался в 22-летнем возрасте старший сын и наследник престола великий князь Николай Александрович (в семье — Нике), воспитанник одного из либеральных деятелей эпохи Великих реформ К. Д. Кавелина, по общим отзывам, мягкий, гуманный, просвещенный, внушавший надежды на благополучное продолжение начатых преобразований. Расшаталось и без того слабое здоровье императрицы Марии Александровны. Александр II тяжело перенес постигший семью неожиданный удар. В том же году, после длительных колебаний, мучительной внутренней борьбы он дал волю своим чувствам к юной княжне Екатерине Михайловне Долгорукой, и начался роман, прервавшийся только со смертью. Он ничем не походил на прежние мимолетные увлечения и многочисленные связи императора, к которым привыкли все, не исключая императрицу. То была любовь зрелого мужчины 47 лет к 18-летней девушке, обаятельной, стройной, неотразимой в своей женственности и чувственной красоте. Она ответила ему тем же чувством. Попытка расстаться на полгода, чтобы избежать скандала и остудить чувства, не удалась и никогда больше не предпринималась.
Пережитое в связи с покушением потрясение, семейная трагедия, раздвоенность в личной жизни и страсть, поглощавшая душевные и физические вилы, отразились на внутреннем состоянии Александра II, его мировосприятии. Современники замечали, что император чаще, чем раньше, бывал задумчив, а иногда апатичен, обидчив, говорил о неблагодарности людей. Эти обстоятельства не могли не сказаться на отношении к делам, энергия и интерес поубавились, зато возникли размышления над правильностью взятого курса. Пытаясь противодействовать этим колебаниям и натиску всколыхнувшей в «верхах» реакции, Д. А. Милютин послал Александру II записку «О нигилизме и мерах против него необходимых», написанную К. Д. Кавелиным. В ней доказывалось, что только последовательные реформы могут остановить в России революционное движение. Александр II оставил записку без внимания. Он склонился к охранительным силам. В рескрипте от 13 мая 1866 г. на имя председателя Комитета министров П. П. Гагарина Александр II объявил своей задачей «охранять русский народ от зародышей вредных лжеучений, которые со временем могли бы поколебать общественное благоустройство». Вопрос о дальнейших реформах замалчивался, провозглашались чисто охранительные цели, сформулированные новым шефом жандармов П. А. Шуваловым. Валуев очень точно выразил в дневнике свое впечатление от рескрипта и намеченного им курса: «У нас теперь принцип и идея тождественны. Они состоят в ограждении власти. Положение оборонительное. Власть рассматривается не как средство, но как цель, как право, как имущество… Мы требуем повиновения, но во имя чего мы его требуем? Только во имя обязанности повиноваться и права повелевать».
Окружение царя-освободителя стало меняться. Роль III Отделения с.е.и.в. канцелярии, несмотря на гласность и европеизацию страны, освобожденной от крепостного права, не только не ослабла, но с 1866 г., после покушения и казни Каракозова, усилилась. Вновь назначенный главноуправляющий III Отделением и шеф жандармов Шувалов приобрел решающее влияние в «верхах» и лично на Александра II. Недостаток воли, свойственный Александру II вообще, в эти годы особенно заметен. Вплоть до отставки в 1874 г., Шувалов сосредоточивал непомерную власть и могущество, играя роль, близкую временщику. А. Ф. Кони считал правление Шувалова «властительством над судьбами русской внутренней политики и над душою напуганного покушением Каракозова Государя». Смена лиц коснулась многих ключевых постов. Министром народного просвещения назначен обер-прокурор Священного Синода Д. А. Толстой, поборник реакции, откровенный противник либеральных преобразований своего предшественника Головнина. Два других назначения в том же роде: министром юстиции стал К. И. Пален вместо либерального Замятнина, министром внутренних дел А. Е. Тимашев, поддержанные Шуваловым. Д. А. Милютин не раз был готов выйти в отставку, теряя надежду противостоять всесилию Шувалова. Так называемые «новеллы» к реформам 60-х гг. вносили реакционные коррективы в недавно принятые законодательные акты. Административная власть повсеместно усилилась, контроль за земским самоуправлением, за печатным словом ужесточился, начальная школа подчинена прямому надзору министерских чиновников, независимые судьи подвергались давлению администрации.