Но каких-либо реальных действий против Византии Манфред проявить не успел, так как погиб жертвой папской интриги. Папы, видя, что сила Гогенштауфенов после смерти Фридриха II, непримиримого врага папства, ослабла, решили в лице Манфреда нанести ненавистной династии окончательный удар. Исполнителем папских планов явился Карл Анжуйский, брат французского короля Людовика IX Святого. Но папа, призывая Карла занять Сицилийское королевство, имел в виду не только уничтожение Гогенштауфенов, но и ту помощь, которую Карл даст для восстановления Латинской империи на Востоке; по крайней мере, папа выражал надежду, что при помощи Карла «положение империи Романии будет исправлено» (imperii Romani status reformabitur).
Принимая предложение папы вмешаться в южно-итальянские дела, Карл Анжуйский открывал этим эру французских походов в Италию, — эру, столь гибельную для насущных интересов Франции, которая в течение нескольких веков должна была тратить свою энергию и средства на Италию, вместо того, чтобы направлять свои силы и внимание на ближайшие соседние страны, например, на Нидерланды и на Рейн.
Существует немного крупных исторических фигур, которые бы изображались историками в столь мрачных красках и, может быть, не совсем правильно, как Карл Анжуйский. После ряда работ о нем можно теперь навсегда покончить с легендой, которая делала из него настоящего тирана, «жадного, хитрого и злого, готового всегда потопить в крови малейшее сопротивление». Обращаясь к Карлу, папы, по-видимому, не учли отличительных черт в его характере, которые отнюдь не позволяли думать, чтобы он согласился быть лишь простым орудием в руках другого. Это был выдержанный, энергичный, временами суровый до жестокости правитель, не лишенный вместе с тем некоторой веселости, любви к турнирам и влечения к поэзии, искусству и науке и не желавший сделаться игрушкой в руках пригласившего его в Италию папства.
Явившись с войском в Италию, Карл разбил Манфреда при Беневенте (1266 г). Манфред погиб, после чего Сицилия и Неаполь перешли во французское владение. Новым королем Обеих Сицилии стал Карл Анжуйский. Французы толпами стали покидать свою родину и тысячами переселяться в новые владения Карла, где в целом условия для жизни были прекрасны.
Вскоре после этого ясно проявилось отношение Карла к Византии. Он с согласия и в присутствии папы заключил в Витербо, небольшом итальянском городке на севере от Рима, с изгнанным латинским императором Балдуином II договор, по которому последний передал Карлу право на верховную власть над всеми франкскими владениями в прежней Латинской империи, выговорив себе лишь Константинополь и несколько островов в Архипелаге, для отвоевания которых от ромеев ему должен был помочь Карл. Нормандские притязания на Византию снова таким образом ожили в полной мере при французском владычестве в королевстве Обеих Сицилий.
Михаил VIII, понимая всю грозу надвигавшейся против него опасности, прибегнул к целому ряду искусных дипломатических шагов. С одной стороны, путем переговоров с папой об унии между восточной и западной церквами, Михаил как бы отвлекал его от тесного сотрудничества с Карлом и заставлял желать примирительного направления в отношении к Византии. С другой стороны, Михаил решил примириться с генуэзцами, которые, как было упомянуто выше, имели намерение, вступив в сношения с Манфредом Сицилийским, передать Константинополь латинянам, за что и были изгнаны из столицы. Генуэзцы получили разрешение вернуться в Константинополь, где им был отведен определенный квартал не в самом городе, а в его предместье Галате, по ту сторону Золотого Рога. Последнее обстоятельство не помешало генуэзцам возвратить себе все прежние торговые привилегии, расширить сферу своей торговой деятельности и оттеснить на второй план своих соперников венецианцев. Один генуэзец, например, из фамилии Цаккариа, получив от императора право на разработку богатейших квасцовых залежей в горах около малоазиатского города Фокеи (по-итальянски Фоджа, Фолья), лежащего при входе в Смирнский залив, создал себе колоссальное состояние. В результате на всем византийском Востоке при Палеологах Генуя заняла место Венеции.
Между тем, Карл Анжуйский занял остров Корфу, сделав этим первый шаг в выполнении своего плана нападения на Византию. Тогда Михаил VIII, в видах большей успешности своей согласительной политики с папой и в надежде хоть несколько повлиять на наступательную в отношении Византии политику Карла Анжуйского, обратился к брату последнего, французскому королю Людовику IX Святому, наиболее благочестивому, справедливому и уважаемому государю того времени, которого, незадолго до обращения к нему Михаила, уже просила Англия в качестве третейского судьи решить сложные вопросы английской внутренней жизни. Обстоятельства складывались так, что Людовик IX снова приглашался в роли посредника сыграть важную роль на этот раз в истории Византии. В конце шестидесятых годов византийские послы прибыли во Францию «в виду предстоящего объединения Греческой и Римской церкви». Михаил предложил французскому королю «быть арбитром условий объединения церквей и заранее заверил его в своем полном согласии».
Известно, что вначале Людовик IX не одобрял решения его брата Карла завоевать Южную Италию, и только позднее он как бы примирился со свершившимся фактом, по всей вероятности, потому, что его успели убедить в полезности этого для будущего крестового похода. Кроме того, и планы Карла завоевать Византию встретили в Людовике также отрицательное отношение, так как, если бы главнейшие силы Карла были направлены на Константинополь, то этим самым они не были бы в состоянии принять должного участия в крестовом походе ко святым местам, идеей о котором был так увлечен сам Людовик. Сообщенное же Людовику через посольство решение Михаила просить выступить в качестве третейского судьи в вопросе о соединении церквей и обещание императора всецело подчиниться его решению также склоняли французского короля, ревностного католика, на сторону византийского императора.
Трудно было ожидать, что давление со стороны Людовика могло оказать действительное воздействие на воинственно настроенного брата в смысле отказа последнего от завоевательных планов на империю. Но что несколько задержало Карла в его военных действиях против Византии, это второй крестовый поход Людовика в Тунис, задевавший интересы Карла на Западе. Вопрос об отношении Карла к возникновению этого похода является спорным. Неожиданная смерть Людовика в Тунисе (1270 г.) разрушила надежды Михаила на его содействие. Византийские послы, незадолго до смерти Людовика прибывшие в Тунис для переговоров, должны были уехать обратно «с пустыми, — по словам греческого источника, — от обещаний руками». Явившийся в Тунис Карл двумя блестящими победами принудил тунисского эмира заключить с ним мир на условии возмещения военных издержек и уплаты Карлу ежегодной дани, после чего он снова решил приняться за осуществление своего плана нападения на Византию. Но на обратном пути из Туниса страшная буря уничтожила большую часть флота Карла, так что он, по крайней мере, на некоторое время, казалось, был лишен возможности предпринять против Византии наступление в столь широких размерах, как он предполагал раньше.
Однако, в начале семидесятых годов Карл смог уже отправить значительное наемное войско в Пелопоннес, именно в Ахайю, где оно с успехом боролось с находившимися там императорскими войсками. Кроме того, в то же время Карл сумел утвердиться на Балканском полуострове, взяв несколько укрепленных пунктов, во главе с Диррахием (Дураццо, Драчем), по восточному побережью Ионийского моря; нагорные албанские племена покорились Карлу, и деспот Эпирский присягнул ему на верность. После этого неаполитанский король стал величать себя государем Албании (regnum Albaniae).
В одном документе он называет себя «Божьей милостью король Сицилии и Албании» (Dei gratia rex Sicilie et Albanie). В одном письме Карл пишет, что албанцы «избрали нас и наших наследников в короли и вечные владыки названного государства» (nos et heredes nostros elegerunt in reges et dominos perpetuos dicti Regni).
Итальянский историк XX века замечает в связи с этим: «Когда деятельность Карла становится лучше изученной и известной, он выступает в истинном свете, как дальний предшественник политической и гражданской независимости албанского народа, которая и в начале XX века кажется мечтой, смутным и неясным устремлением». Но Карл этим не удовлетворился. Он обратился к сербам и болгарам, в которых нашел усердных союзников. Посланники «imperatoris Vulgarorum et regis Servie» появились при его дворе. Множество южных славян стали к нему вступать на службу и переселяться на итальянскую почву. Один русский ученый, хороший знаток итальянских архивов, извлекший из них много сведений о славянах (В. Макушев), писал, что, несмотря на отрывочность сведений, «по ним можно судить о ходе славянских поселений в Южной Италии и о многочисленности славян, стекавшихся со всех сторон югославянского мира на службу Анжуйцев… Славянские поселения в Южной Италии с XIII по XV век постоянно увеличиваются: основываются новые, разрастаются старые». В одном памятнике 1323 г. в Неаполе упоминается «квартал, который называется болгарским» (vicus qui vocatur Bulgarus). Сербские и болгарские послы прибыли для переговоров в Неаполь. Отсюда видно, какая серьезная опасность угрожала Византии со стороны славяно-французских союзников. Более того, Венеция, которая занимала самое важное место в политической, экономической и торговой жизни государства Карла, была с ним в дружеских отношениях и в данный момент поддерживала его империалистическую политику на Востоке. К тому же, низложенный и ослепленный Михаилом VIII последний Никейский император Иоанн IV Ласкарь, бежав из византийской темницы, явился по приглашению Карла к его двору.