Современники не испытывали к Воронцову такой неприязни, как к Петру Шувалову. Ж.-Л. Фавье, характеристики которого отличаются точностью и во многом подтверждаются другими источниками, дает Воронцову следующую оценку: «Этот человек хороших нравов, трезвый, воздержанный, ласковый, приветливый, вежливый, гуманный, холодной наружности, но простой и скромный… Его вообще мало расположены считать умным, но ему нельзя отказать в природном рассудке. Без малейшего или даже без всякого изучения и чтения он имеет весьма хорошее понятие о дворах, которые он видел, а также хорошо знает дела, которые он вел. И когда он имеет точное понятие о деле, то судит о нем вполне здраво». Фавье отметил болезненность, утомленность Воронцова, его нежелание заниматься делами. Этим с самого начала сумел воспользоваться Бестужев-Рюмин, которому Воронцов, «совершенно неопытный в делах внешней политики, поначалу полностью доверился»27.
Через Воронцова Бестужев-Рюмин оказывал влияние на императрицу и последовательно усиливал свои позиции при дворе. Одновременно канцлер не упускал из виду и связи своего заместителя. Дело в том, что значение Воронцова как доверенного лица Елизаветы не осталось без внимания иностранных дипломатов. Еще до того как он стал вице-канцлером, французский посланник Шетарди и прусский посол Мардефельд начали заискивать перед Воронцовым, пытаясь использовать его в борьбе Против Бестужева-Рюмина, внешнеполитическая линия которого Противоречила интересам Пруссии и Франции. В апреле 1745 г. министр иностранных дел Франции д'Аржансон писал сменившему Шетарди д'Аллиону: «По вашему описанию канцлера и вице-канцлера можно заключить, что последний не замедлит взять верх, поэтому вам следует заранее относиться к нему очень бережно». Сам д'Аллион писал в Версаль 3 августа 1745 г.: «По существу нет ни тени сомнения, что второй прогонит первого, и это событие, столь же забавное, сколь и полезное, может быть, не заставит себя ждать бесконечно»28.
Пикантность ситуации состояла в том, что письма французских дипломатов перлюстрировались и расшифровывались и откровения французского посланника читали и Бестужев-Рюмин, и Воронцов. Конечно, такая информация не способствовала улучшению отношений между коллегами. Постепенно Воронцов начинает отдаляться от Бестужева-Рюмина, и о вице-канцлере начинают говорить как о защитнике интересов Франции и Пруссии. Английский посланник лорд Тироули сообщал в Лондон о ходе русско-австрийских переговоров 1745 г.: «Канцлер, видимо, одобрял мои доводы, но вице-канцлер с ним не соглашался, так как воздействие Пруссии на него было много сильнее. Здесь не скрывают, какими аргументами старались склонить вице-канцлера к таким воззрениям. Очень может быть, что он соблазнился их ясностью. Герсдорфу, представителю Голландии, и мне советовали убедить дворы наши последовать относительно канцлера тому же примеру, но удвоить прием. Но я далек был от мысли последовать такому совету, что не счел нужным и писать об этом, так как, раз вице-канцлер возьмет с обеих сторон, одну из них он должен обмануть, а я уверен, что интересы Пруссии ему ближе, чем наши»29.
Тироули не ошибался: 19 мая 1744 г. Фридрих II писал своему посланнику в России Мардефельду: «Если есть способы, чтобы привлечь Воронцова на нашу сторону, то я уверен, что вы их не упустите». 19 июня прусский король уже хлопотал о пожаловании Воронцова графом Германской империи, а в письме своему посланнику при дворе германского императора характеризовал Воронцова как человека, «расположенного к моим интересам»30. И как следствие этого Воронцов становится графом Германской империи.
В сложной придворной борьбе за влияние и власть Воронцов не был самым проворным и хитрым. Его французские и прусские симпатии после скандальной высылки из России Шетарди уже не нравились Елизавете, которая — в немалой степени благодаря Бестужеву-Рюмину — заняла ярко выраженную антипрусскую позицию. Осенью 1745 г. Воронцов вместе с женой отправился в длительное путешествие по Европе. Это был серьезный тактический промах Воронцова. Английский посланник (с радостью) и французский (с грустью) писали своим правительствам, что Бестужев-Рюмин непременно использует отъезд Воронцова для усиления своего влияния и утверждения угодного ему внешнеполитического курса. Так это и произошло. Более того, Бестужев-Рюмин сумел настроить против своего «благодетеля» и Елизавету, которой очень не понравилось, что Воронцов из России направился прямо в Берлин, где несколько раз встречался с Фридрихом II и его министрами. Когда через год чета Воронцовых вернулась в Петербург, при дворе их ожидал довольно прохладный прием.
В декабре 1749 г. Воронцов подал Елизавете челобитную, в которой писал: «Уже пятый год, всемилостивейшая государыня, настоит, как я, по нещастливом моем, однакож безвинном вояже из иностранных государств, неописанную и единому богу сведущему болезнь, сокрушение и горестное мучение жизни моей препровождаю, лишаясь дражайшей и безценной милости и поверенности в. и. в. ко мне, которою столь много прежде сего к великой моей радости наслаждался»31. Жалоба потерявшего «поверенность» императрицы царедворца оказалась гласом вопиющего в пустыне — Елизавета отстранилась от «верного друга» навсегда. Он пытался действовать через Разумовских, но и это не помогло. Бестужев-Рюмин мог торжествовать — Воронцов уже не влиял на проводимый канцлером курс политики.
Падение значения Воронцова было сразу же замечено Фридрихом II. Король писал Мардефельду: «Сказать по правде, я не вижу, какую пользу приносят сведения, которые сообщает нам важный друг, и его мелкие интриги; если бы я продолжал ему выдавать содержание, то это означало бы все равно что бросать деньги за окно»32.
Ситуация существенно изменилась лишь в начале 50-х годов XVIII в., когда выросло влияние нового фаворита — Ивана Ивановича Шувалова. Воронцов, бывший долгие годы в изоляции, сразу же «прилепился» к Шувалову. Именно благодаря поддержке Ивана Шувалова он начинает действовать вразрез с интересами Бестужева-Рюмина, который по многим причинам не устраивал фаворита. После продолжительной борьбы в 1758 г. Бестужев-Рюмин был свергнут и его место занял Воронцов. К этому времени Михаил Илларионович уже вполне овладел искусством руководителя внешнеполитической службы, о чем свидетельствуют его служебные записки и другие документы. Правда, они одновременно говорят и о несамостоятельности нового канцлера, ставшего послушным проводником политики нового фаворита. Несмотря на то что Воронцов занял высшую государственную должность, он не вернул прежнего расположения Елизаветы и был заслонен от нее широкими спинами братьев Шуваловых. Поэтому, опасаясь за свое место и власть, Воронцов обращал больше внимания не на дела, а на то, как бы удержаться на посту канцлера. Переписка М. И. Воронцова с И. И. Шуваловым показывает, что канцлер буквально навязывал свою дружбу временщику, причем эта дружба со стороны Воронцова была далеко не бескорыстна.
Из писем Воронцова следует, что в последние годы правления императрицы ему очень редко удавалось попасть к ней на прием. Поэтому от Шувалова всецело зависело, когда передать присылаемые от канцлера дела и как охарактеризовать перед императрицей его деятельность. Кроме просьб по службе письма Воронцова фавориту полны ходатайств по личным делам. Он не раз просит временщика поставить императрицу в известность о том, что страдает от долгов. Не может не вызвать улыбку аргументация лукавого царедворца: «Мне желательно, чтобы ваше превосходительство имели во мне друга сильного и богатого, а не слабого и бедного, каким я теперь». В том же письме Воронцов предлагал Шувалову участие в сделке по вывозу хлеба за границу на льготных условиях, которых, однако, предстояло добиться у Елизаветы самому Шувалову33.
Вообще челобитные Воронцова Елизавете, письма И. И. Шувалову, а ранее А. Г. Разумовскому — это сплошной стон погибающего от долгов и кредиторов бедняка. Он непрерывно просит денежных ссуд, земельных пожалований, причем, добившись их, тотчас начинает просить, чтоб казна выкупила у него земли. Вероятно, Воронцову не давали спать спокойно богатство и удачливость П. И. Шувалова в торгово-промышленных предприятиях и прожектерстве. Подражая Петру Шувалову, он пускается на различные промышленные и торговые авантюры, не имея к этому ни способностей, ни даже времени. Воронцов добивается монополии на вывоз за границу льняного семени; вместе с братом Романом получает из казны богатые медеплавильные заводы в Приуралье; составляет фантастический проект о введении в России полуфеодальных «княжеств», «графств» и «баронств» с соответственным обеспечением их государственной землей и «людишками». Думается, что последний проект писался не без задней мысли поправить свои дела и получить земельное владение, соответствовавшее его графскому титулу.