Фельдмаршала Василия Владимировича, который не вступил в предполагавшуюся для него губернаторскую должность, тогда не тронули и оставили при его прежнем сане; только государыня при каждом удобном случае показывала к нему свое невнимание, а в конце 1731 года обнародован был указ, который от имени императрицы сообщал во всеобщее сведение, что "фельдмаршал Василий Долгорукий дерзнул не токмо наши полезные государству учреждения непристойным образом толковать, но и собственную нашу императорскую персону поносительными словами оскорблять". Собранными на тот конец министрами и генералами он был осужден на смертную казнь, разом с гвардии капитаном князем Юрием Долгоруким, прапорщиком князем Алексеем Борятинским и Егором Столетовым, которые все "явились в некоторых жестоких государственных преступлениях". Государыня смягчила такой приговор: фельдмаршала Долгорукого повелела она заточить в Шлиссельбургскую крепость, а прочих - сослать "вечно" в каторжную работу. Велено при этом лишить их всех чинов, орденов и всего движимого имущества. Фельдмаршал был потом перемещен из Шлиссельбурга в другое место заточения - в Иван-город, а из сосланных в то время в Сибирь - Столетов, по доносу, был снова привлечен в тайную канцелярию, обвинен в произнесении непристойных слов против высочайшей особы, пытан и обезглавлен.
Бывший сотоварищ Долгоруких, по замыслу об ограничении самодержавия, князь Димитрий Михайлович Голицын был долго щадим, считался в звании сенатора, но редко посещал сенат и проживал постоянно в своем подмосковном имении в селе Архангельском, где у него была многотомная библиотека. Но наверху, у государыни, не забыли его дел, совершенных при вступлении на престол Анны Ивановны. Несколько лет его не трогали, а в 1736 году придрались по поводу прикосновенности его к тяжбе, которая велась между зятем его, князем Кантемиром, и родственниками последнего об имении. Князю Димитрию Михайловичу поставили в вину, что он отговаривался болезнью, не хотя императрице и государству служить, уклонялся от возлагаемых на него поручений и настроил чиновника Перова, чтоб он, получая из казны жалованье, занимался не делами службы, а делом зятя его Кантемира, а когда Перов сказал ему: "Надобно по совести рассуждать", - князь Димитрий Михайлович на это ответил: "Совесть подлежит суду Божескому, а не человеческому"; когда же князя Димитрия Голицына призвали в высший суд, он там произнес такое выражение: "Если б сатана из ада говорил мне что-нибудь полезное, я бы и его послушал!" Все такие выражения признаны выходками, противными Богу и государыне. Князя Димитрия Михайловича отправили в Шлиссельбургскую крепость для содержания там за крепким караулом. Это произошло в начале 1737 года, а в апреле 1738 он скончался в заточении.
Казалось, участь тех Долгоруких, которым для житья был назначен Березов, была окончательно решена. Помучивши постепенным усилением кары, их, наконец, сослали в ледяные пустыни, где они должны были истаять, забытые всем миром - и друзьями, и врагами. Вышло не так.
Их повезли в Березов в июле 1730 года. Позволили взять им с собою пятнадцать человек прислуги. Капитан Максимов с отрядом солдат в 24 человека провожал их до Тобольска. Вдруг на дороге догоняет их посланный вслед за ними прапорщик Любовников для описи их пожитков. Оказалось, что князь Алексей Григорьевич взял с собою три образа в золотых окладах, два золотых креста с алмазами и золотую чашу, подаренную отцу его в Польше. Бывшая невеста Петра II везла с собою много разных драгоценностей и новых платьев, сделанных в ожидании свадьбы. У всех Долгоруких был запас дореформенного платья старинного покроя, так как в домашнем быту бояре еще продолжали в нем ходить, хотя официально одевались в иноземную одежду, введенную Петром I. Все это отобрали. Из Тобольска доставил сосланных Долгоруких в Березов с двадцатью четырьмя солдатами капитан Шарыгин. В Березове сосланных поместили на житье в остроге и выпускали их только в церковь. Ради унижения их обязали есть деревянными ложками и пить из оловянных стаканов, как бы простолюдинов. Князья Долгорукие, с первых дней поселения своего в Березове, жили между собою несогласно. Князь Алексей Григорьевич упрекал сына Ивана, зачем он не дал Петру Второму подписать духовную. "Разрушенная" (как называли ее) невеста царская, гордая и надменная, никак не могла снести судьбы своей, капризничала и производила смуту между своею роднею. Уже привезший в Березов Долгоруких капитан Шарыгин послал на них донос об утайке пожитков против описи, но последствием такого доноса на первый раз был только царский указ о том, чтобы Долгорукие вели себя смирно и непристойных слов никаких не произносили. Жена Алексея Григорьевича жила недолго в ссылке; в ноябре 1730 года ее не стало. Князь Алексей Григорьевич скончался в 1734 году, и сын его Иван, бывший фаворит Петра II, остался главою семьи. Супруга Ивана, обрученная с ним еще во дни его величия, Наталия Борисовна, урожденная Шереметева, дочь знаменитого фельдмаршала Петровских времен, уже после опалы жениха своего сдержала данное прежде слово, обвенчалась с ним и последовала в ссылку, несмотря на недовольство всей родни своей и, между прочим, своего брата Петра, который, при своем огромном богатстве, показывал мало участия к несчастной сестре. Женщина эта была нравственно выше своего супруга, который во время своего величия вел рассеянный и даже безнравственный образ жизни, и хотя на время был приведен в чувство бедствиями всего своего рода, но, будучи в ссылке, скоро снова показал прежнюю ничтожность души. Спознавшись с окружавшею его средой, он заводил приятельские беседы с офицерами местного гарнизона, с местными священниками и обывателями, и от скуки вместе с ними пьянствовал, а этому пороку он и прежде был причастен. Он особенно подружился с флотским поручиком Овцыным, постоянно становился с ним рядом в церкви и ходил вместе с ним в баню. Молва сделала Овцына любовником бывшей царской невесты. Майор Петров, в качестве пристава при Долгоруких, вместо строгого надзирательства над ссыльными, стал приятелем князя Ивана Алексеевича. Березовский воевода Бобровский сблизился с Долгорукими, из участия к их печальной судьбе посылал им от себя съестное и дарил песцовыми мехами, а Наталия Борисовна подарила ему сукна на одежду и золотые часы. Все это само по себе было бы безвредно; но Иван Алексеевич, под влиянием вина, не умел сдерживать языка своего и в кругу своих березовских знакомых рассказывал о разных придворных событиях. Замечательно, что хотя вообще принято полагать, будто Бирон преследовал Долгоруких, но Иван Алексеевич, жалуясь, что Анна Ивановна погубила весь род их, никаким намеком не обвинил в этом Бирона. Напротив, он в числе врагов своих указывал на цесаревну Елисавету, которая впоследствии, занявши престол, восстановила падшую знатность рода Долгоруких. Между тем, находясь в ссылке в Березове, Иван Алексеевич приписывал свое несчастье, между прочим, наговорам на него Елисаветы, которая будто бы мстила ему за то, что при Петре Втором он проводил мысль заточить ее в монастырь за легкомысленное поведение.
Иван Алексеевич возымел было надежду на облегчение участи всего своего рода. Один из братьев князя Алексея Григорьевича, Сергей, был зятем барона Шафирова, бывшего тогда в силе при дворе. По особенному ходатайству тестя ему дозволили переселиться в свое имение Замоторино в Касимовском уезде, а вслед за тем Шафиров ходатайствовал перед императрицею о допущении своего зятя служить по дипломатической части. Но у рода Долгоруких при дворе было немало врагов, которые боялись, чтоб этот род, поднявшись на прежнюю высоту, не стал вредить им. Такими противниками Долгоруких были: Андрей Иванович Остерман, начальник тайной канцелярии генерал Ушаков и обер-егермейстер Волынский, недавно входивший в силу. Они подействовали на Бирона и внушили ему мысль, что Долгоруким опасно давать свободу и значение. Всех враждебнее к Долгоруким относился Ушаков, и он-то взялся найти путь погубить их окончательно и сделать навсегда безвредными. Это было нетрудно при неосторожности и болтливости Ивана Алексеевича. Уже были на них доносы. В 1737 году последовал донос офицера Муравьева об утайке вещей против описи, произведенной над имуществом ссыльных. Долгорукие, извещалось в доносе, припрятали два патента за подписом императора Петра II и книгу о коронации того же императора. Сообщалось, кроме того, что майор Петров, поставленный над ними приставом, дает им послабление: у них много лишних вещей, они пожертвовали в церковь парчу, они свободно посещают березовских обывателей, и к ним допускают последних. По этому доносу присланный капитан Рагозин произвел новую опись их имущества: над ссыльными усилили караул. Но вскоре за тем приехал в Березов, как будто по делам службы, тобольский подьячий Тишин. Подозревали, не без основания, что это был нарочно подосланный шпион. Тишин подделался к Долгоруким и стал бывать у них в сообществе с другими знакомыми. Ему приглянулась княжна Екатерина, и раз, пьяный, он стал выказывать любовь свою к ней в слишком грубых формах. Екатерина отвернулась от него и сказала о его назойливости другу брата своего, Овцыну. Овцын, согласившись с казачьим атаманом Лихачевым и сыном боярским Кашперовым, отколотили Тишина. Тогда последний, из мщения за свою обиду, послал на Ивана Алексеевича донос о его болтовне; доносил также на майора Петрова и на воеводу Бобровского, что они мирволили Долгоруким. Вслед за тем, в мае 1738 года, приехал в Березов тобольского гарнизона капитан Ушаков, родственник генерала Андрея Ивановича. Ему поручено было стороною разузнать о поведении сосланных Долгоруких, а им самим ласково объявить, что государыня желает улучшить их положение. Ушаков познакомился с березовскими обывателями и узнал многое, что ему было нужно. Он уехал из Березова, а вслед за тем пришел царский указ - отделить Ивана Алексеевича от прочих членов его рода. Его заперли в землянке. Наталия Борисовна выпросила у майора Петрова дозволение приносить мужу и подавать через окно пищу, потому что его стали содержать на казенном хлебе скудно и грубо.
