Шли годы пребывания Джема в плену, полные тоски. В неприступной крепости, в Бурганёфе, которая сохранилась до наших дней, жизнь в ссылке, в окружении лишь нескольких слуг, стала тяготить его, и интерес к продолжению вражды с братом ослабел. После того как он прибыл в Рим, значительные суммы тратились на его содержание, но Джем ничего не хотел так сильно, как вернуться на родину или хотя бы, писал он, прожить остаток жизни в Иране, арабских странах или Индии. Несмотря на туманную перспективу крестового похода, он не смог, как сказал папе, отказаться от своей веры, «даже ради власти над миром». В письмах, доставлявшихся Баязиду из Рима, Джем выражал свое сильнейшее желание покинуть тюрьму и, видимо, был вполне искренен, когда писал, что готов забыть о разногласиях между ними и поклясться в верности брату.
Будучи пленником в Риме, Джем, возможно слышал о драме, разыгравшейся вдалеке от его родины, отзвук которой докатился и до Стамбула. 2 января 1492 года город Гранада в Андалузии на юге Испании, резиденции исламской династии Насридов, сдался армиям Фердинанда Арагонского и Изабеллы Кастильской; месяц спустя в Риме была проведена пышная церемония, чтобы отпраздновать испанскую победу. Память о падении Константинополя была еще свежа в умах христианского мира, а победа над «маврами» приветствовалась как реванш за множество бед, пережитых по вине османов. Султан Мехмед II принял делегацию андалузских мусульман, искавших его защиты, в 1477 году, за год до официального начала действия испанской инквизиции, а Баязид предоставил им убежище после падения Гранады. Хотя никто не принуждал делать выбор до 1501 года, многие приняли его предложение, и в течение нескольких лет три большие церкви в Фессалониках были превращены в мечети, в которых проходили службы для тех, кто принял османское убежище. После многих превратностей судьбы остатки андалузской мусульманской общины были вытеснены с Иберийского полуострова между 1609 и 1614 годами.
Евреям из Испании, называемым сефардами, повезло меньше. Они находились под давлением задолго до начала инквизиции, и многие обратились в католичество. Тем не менее инквизиция не доверяла искренности новообращенных, и многие не выдержали испытания и были убиты. Исповедовавшие иудаизм были высланы из страны в 1492 году и эмигрировали в Португалию, Францию и другие европейские страны. Многие отправились жить в Османскую империю, где встретились с грекоговорящими евреями, называвшимися романиотами, и немецкими евреями, называвшимися ашкенази, также высланными из своих стран. Как сообщают, султан Баязид приветствовал испанских евреев следующим высказыванием: «Можно ли назвать такого короля [т. е. Фердинанда] мудрым и благоразумным? Он обедняет свою страну и делает богаче мою империю». Самая многочисленная волна еврейской иммиграции на османские земли имела место между 1492 и 1512 годами и была вызвана преследованиями, которые в этот период распространились по всей Европе. Баязид хотел, чтобы беженцы сосредоточивались в провинциальных центрах, и вскоре общины сефардов были во многих городах империи. Однако их появление не приветствовалось в Стамбуле, и новые синагоги в столице были закрыты, а известных евреев поощряли к принятию ислама.
Равновесие, установившееся в 1490 году благодаря соглашению, заключенному между Иннокентием VIII и Баязидом по поводу Джема, не продлилось долго. Османский претендент был использован в качестве залога в европейской политике, когда Карл VIII попытался доказать свои притязания на Неаполитанское королевство. В 1492 году Иннокентия сменил Александр VI, и у нового папы была настоятельная необходимость поддерживать соглашение с Баязидом, которому он написал о планах французского короля:
…король Франции спешит к Риму с несметной сухопутной и морской силой, при поддержке миланцев, бретонцев, португальцев, норманнов и других, чтобы вырвать из наших рук султана Джема, брата Его Величества, и захватить Неаполитанское королевство и занять место короля Альфонсо.
Ответ Баязида папе, посланный в Рим вместе с деньгами на содержание Джема, был перехвачен и предан огласке, документ, изобличающий папу как союзника врага христианского мира. Карл, бывший во Флоренции, двинулся на юг через Италию и подошел к напуганному Риму в последний день 1494 года. Он потребовал, чтобы ему выдали Джема. Папа Александр был вынужден уступить. Джем был надлежащим образом переведен в заключение к Карлу и отправился к Неаполю вместе с королевской армией.
Король Неаполя Альфонсо, преемник короля Ферранте, обратился к Баязиду за помощью. По сведениям венецианского писателя того времени, султан по-настоящему испугался, что Карл может привезти Джема на Балканы и поднять жителей этого региона: османский посол в Венеции писал, что французский король рассчитывал на поддержку лишенных наследства наследников знатных домов Византии и Сербии, а также на клан Скандербега Кастриота. Султан усилил защиту Дарданелл и привел флот в состояние готовности. В Стамбуле, где он инспектировал стены и руководил расстановкой пушек для защиты города, началась паника.
Через два дня после того как Карл и его армия подошли к Неаполю, Джем умер в ночь с 24 на 25 февраля 1495 года в возрасте 36 лет, после 13 лет в ссылке. Были слухи, что конец его вызван ядом, но, похоже, он умер от естественных причин. Даже в смерти он не обрел покой. Баязид прислал гонца с требованием отправить тело к нему в обмен на остальные христианские реликвии, бывшие в его владении: без тела, говорил он, у него нет доказательств кончины Джема. Карл перевез тело в неприступную крепость Гаэта, расположенную на побережье к северу от Неаполя, и когда в ноябре 1496 года французы уходили из Гаэты, фоб был передан принцу Фредерику Неаполитанскому в обмен на французских пленных, находившихся в руках неаполитанцев. Неаполь нуждался в помощи султана против своих врагов, а Баязид угрожал аннулировать мир между ними, если Неаполь не отправит тело в Стамбул. Дальнейшие переговоры увенчались успехом, и к началу 1499 года останки Джема были на пути в Стамбул, пересекая Адриатическое море из Сан-Катальдо, расположенного в горах Италии, во Влёру на побережье Албании. Оттуда тело было привезено домой, очевидно морем, встречено с большой помпой в Гелиболу и привезено в Бурсу. Здесь Джем был наконец погребен рядом со своим старшим братом Мустафой в усыпальнице его деда султана Мурада II. Его могилу можно посетить до сих пор. Удивительная история жизни Джема захватила воображение писателей, как на Западе, так и на Востоке, и до нашихдней продолжает служить источником вдохновения. Он изображается трагической личностью эпического масштаба, настоящим ренессансным принцем, образованным и талантливым, автором высоко оцененной поэзии, который слишком поздно осознал безрассудность своих политических амбиций, чтобы спастись от пышного плена и загадочной смерти.
После похорон Джема султан Баязид был наконец-то свободен, но этот эпизод в османской истории примечателен тем, что предвещал перемены в османской дипломатии по отношению к христианским государствам. В отличие от дипломатических соглашений прошлого, когда одно государство было посредником в отношениях с османами от лица всех, чьи интересы были затронуты, переговоры по поводу заключения Джема велись с каждым государством в отдельности. Баязид мог использовать соперничество между ними, и с середины 80-х годов XIV века прямые двусторонние отношения с европейскими государствами стали перевешивать соглашения прошлого. Впервые в этот период были направлены османские послы к европейским дворам — во Францию в 1483 году, в Московское княжество в 1495 году и в Священную Римскую империю в 1496–1497 годах. Хотя и христианские, и мусульманское государства описывают свои отношения как стабильно враждебные, одиссея Джема показала степень, до которой политическая целесообразность, а не религиозная идеология определяла их позиции. Для всех было очевидно, что король Франции Карл VIII представляет собой более непосредственную угрозу миру в Италии, чем Османская империя, и османы умело использовали ситуацию.
Годы, в течение которых Баязид был занят судьбой Джема, также показали, что, несмотря на выдающиеся достижения Мехмеда II, целостность Османской империи нельзя считать доказанной. Отъезд Джема на Родос в июле 1482 года дал султану Баязиду некоторую передышку от беспорядков внутри страны. Принц Карамана Касым, у которого были общие интересы с Джемом, добивался прощения султана и взамен отказа от претензий на независимость был назначен правителем провинции Ичель (ориентировочно Киликия) на юге Малой Азии, бывшей частью эмирата Караман. Будучи уже пожилым человеком, он скончался в 1483 году. Теперь Караманом можно было управлять как неотъемлемой частью османских владений, но ситуация оставалась напряженной. Даже в 1500 году Баязид был вынужден послать войска, чтобы победить еще одного претендента на Караман, племянника Касыма Мустафу, который прибыл из Ирана с армией для поддержки местного восстания.