Через некоторое время сибирский купец был принят во дворце Сан-Суси самим Фридрихом II, который наградил его деньгами и чином полковника. После этого Манштейн, снабдив Зубарева золотом и специальными медалями, которые мог бы узнать Антон Ульрих, отправил завербованного агента в Россию. При переходе польско-русской границы Зубарев и был захвачен русской пограничной стражей. История, рассказанная Зубаревым следователям Тайной канцелярии, загадочна. Несомненно, Зубарев был отчаянный авантюрист и проходимец, который в карман за словом не лез и мог придумать все, что угодно. Но, наряду с совершенно фантастическими подробностями своего пребывания в Пруссии, он приводит достоверные данные, говорящие, что, возможно, Зубарев действительно был в Сан-Суси у Фридриха. Настораживает и то, что постоянным героем его рассказов, организатором всей авантюры выступает Манштейн. Это чрезвычайно важно. Как только Елизавета взошла на престол, Манштейн уехал в Пруссию якобы в отпуск, но сразу же поступил на службу к пруссакам. Дело по тем временам было обычным. Но реакция Елизаветы была крайне нервной — она требовала возвращения Манштейна в Россию, а когда выяснилось, что он не вернется, военный суд приговорил Манштейна к смертной казни за дезертирство. Между тем Манштейн стал первым экспертом короля по русским делам и, возможно, ведал шпионами короля в России.
Не исключено, что Манштейн, принц Фердинанд и Фридрих задумали освободить Антона Ульриха и его семью из заточения, что отвечало политическим целям Пруссии, заинтересованной в дестабилизации положения в России. Возможно, что весь этот план был предложен пруссакам авантюристом Зубаревым. Один из свидетелей, видевших Зубарева в Кенигсберге, показал, что Зубарев, прощаясь с ним и другими русскими, говорил: «Прощайте, братцы… запишусь я в жолнеры и буду просить, чтоб меня повели к самому прусскому королю, мне до него есть нужда». Думаю, что эта «нужда" и привела сибирского купца в Сан-Суси. И Манштейн, и Фридрих ничем не рисковали — попробовать связаться с Антоном Ульрихом взялся этот русский!
Можно предположить, что Зубарев действовал по заданию русского правительства, которое было обеспокоено слухами в народе о несчастном императоре в темнице и его непременном освобождении и пыталось таким образом спровоцировать пруссаков и одновременно оппозиционные силы внутри России на выступление, чтобы сразу же раздавить заговор в зародыше. Такой авантюрист, каким был Зубарев для этого дела годился как нельзя лучше. Никакие корабли из Пруссии в Холмогоры не приходили, в 1756 году началась война России с Пруссией, тревога охраны оказалась напрасной, но тайный узник был переведен в новую тюрьму на острове.
Иван Антонович прожил в Шлиссельбурге в особой казарме под присмотром специальной команды еще долгие восемь лет. Можно не сомневаться, что его существование вызывало головную боль у всех трех сменивших друг друга властителей России: Елизаветы, Петра III, Екатерины II. Свергнув малыша с престола в 1741 году, Елизавета, умирая в декабре 1761 года, передала этот династический грех своему племяннику Петру III, а от него грех «унаследовала" в 1762 году Екатерина II. И что делать с этим молодым человеком, не знал никто. Между тем слухи о жизни Иоанна Антоновича в тюрьме продолжали распространяться. Этому в немалой степени способствовали сами власти. Вступив на трон, Елизавета прибегла к удивительному по своей бесполезности способу борьбы с памятью о своем предшественнике. Указами императрицы повелевалось изъять из делопроизводства все бумаги, где упоминались император Иван VI и правительница Анна Леопольдовна, отменить все принятые в период регентства законы. Уничтожению подлежали все изображения императора и правительницы, а также монеты, медали и титульные листы книг с обращением к юному императору. Из-за границы категорически запрещалось ввозить книги, в которых упоминались „в бывшее ранее правление известные персоны“ — так теперь назывались в указах Иван и его мать.
Естественно, что эффект этой меры был прямо противоположен задуманному. Став запретным, имя царя-младенца Ивана приобрело невиданную популярность в народе.
Об Иване помнили, рассказывали друг другу о его безвинных страданиях, о том, что наступит и его час, а вместе с ним — и час справедливости и добра. Широко известно, что популярность в России достигается очень часто с помощью страдания. Стать жертвой ненавистной этому народу во все века власти, жестокой и чужой для обыкновенного человека, — значило приобрести популярность и даже любовь народа. Народная фантазия дорисовывала образ Ивана, изображая его страдальцем за народ, за «истинную» веру, которая отчетливо противопоставлялась официальной вере.
Естественно, слухи об Иване беспокоили власти, хотя болтунам исправно отрезали языки и отправляли их в сибирскую ссылку. Вместе с тем управителей России очень интересовал сам узник, они хотели его увидеть. Именно поэтому в 1756 году Ивана привозили в Петербург, в дом фаворита Елизаветы Ивана Шувалова, и там императрица впервые за пятнадцать лет увидела экс-императора. В марте 1762 года новый император Петр III ездил в Шлиссельбург и разговаривал с узником. В августе 1762 года приезжала к Ивану Екатерина II.
Нет сомнения, что Иван производил тяжелое впечатление на своих высокопоставленных визитеров. Он был, как писали охранявшие его капитан Власьев и поручик Чекин, «косноязычен до такой степени, что даже и те, кои непрестанно видели и слышали его, с трудом могли его понимать. Для сделания выговариваемых им слов хоть несколько вразумительными, он принужден был поддерживать рукою подбородок и поднимать его кверху". И далее тюремщики пишут: „Умственные способности его были расстроены, он не имел ни малейшей памяти, никакого ни о чем понятия, ни о радости, ни о горести, ни особенной к чему-либо склонности“.
Важно заметить, что сведения о сумасшествии Ивана идут от офицеров охраны — людей в психиатрии совсем некомпетентных. Представить Ивана безумцем было выгодно власти. С одной стороны, это оправдывало суровость содержания узника — ведь в те времена психически больные люди содержались, как животные, на цепях, в тесных каморках, без ухода и человеческого сочувствия. С другой стороны, представление об Иване — сумасшедшем, позволило оправдать убийство несчастного, который, как психический больной, себя не контролировал и поэтому легко мог стать игрушкой в руках авантюристов.
В доказательство безумия заключенного тюремщики пишут о его неадекватной, по их мнению, реакции на действия охраны: «В июне (1759 года) припадки приняли буйный характер: больной кричал на караульных, бранился с ними, покушался драться, кривлял рот, замахивался на офицеров». Из других источников нам известно, что офицеры охраны обращались с ним грубо, наказывали его — лишали чая, теплых вещей, возможно, били за строптивость и уже наверняка — дразнили, как сидящую на привязи собаку. Об этом есть сообщение офицера Овцына, писавшего в апреле 1760 года, что арестант здоров и временами беспокоен, но до того его доводят офицеры, всегда его дразнят". Их, своих мучителей, Иван, конечно, ненавидел, бранил, и это было естественной реакцией психически нормального человека на бесчеловечное обращение.
Положение узника было ужасным. Его держали в тесном узком помещении, маленькие окна которого были постоянно закрыты. Многие годы он жил при свете свечей и, не имея при себе часов, не знал времени дня и ночи. Как писал современник, «он не умел ни читать, ни писать, одиночество сделало его задумчивым, мысли его не всегда были в порядке» К этому можно добавить отрывок из инструкции коменданту данной в 1756 году начальником Тайной канцелярии графом Александром Шуваловым: «Арестанта из казармы не выпускать, когда же для убирания в казарме всякой нечистоты кто впущен будет, тогда арестанту быть за ширмой, чтоб его видеть не могли". В 1757 году последовало уточнение: никого в крепость без указа Тайной канцелярии не впускать, не исключая генералов и даже фельдмаршалов.
Неизвестно, сколько бы тянулась еще эта несчастнейшая из несчастных жизней, если бы не произошло трагедии 1764 года. Тогда была совершена неожиданная попытка освободить секретного узника Григория — бывшего императора Ивана Антоновича. Предприятием руководил подпоручик Смоленского пехотного полка Василий Мирович. Жизненные неудачи, бедность и зависть мучили этого двадцатитрехлетнего офицера, и таким образом он решил поправить свои дела. Об Иване он узнал, когда ему приходилось по долгу службы нести внешний караул в крепости. Он предполагал освободить Ивана, затем приехать с ним в Петербург и поднять на мятеж против Екатерины II гвардию и артиллеристов. Во время своего очередного дежурства Мирович поднял солдат в ружье, арестовал коменданта и двинул солдат на штурм казармы, где сидел тайный узник. Дерзкий замысел Мировича почти удался: увидав привезенную людьми Мировича пушку, охрана казармы сложила оружие. И тогда тюремщики-офицеры Власьев и Чекин, как они писали в своем рапорте, «видя превосходящую силу [неприятеля], арестанта умертвили».