Этой святой иконой греческого письма благословил в 1393 году святого Арсения, основателя Коневской обители (сведения о нем помещены 12 июня), преподобный Иоанн, игумен одной из афонских обителей. Напутствуя своего любимого ученика, он предсказал, что преподобный Арсений будет игуменом новоявленной обители. Жизнеописатель святого Арсения Коневского свидетельствует об этом событии следующим образом: «Благословение от него (архиепископа Иоанна) приять, отыде на Новоозеро (Ладожское) в Коневский остров, и вселился ту со святою иконою, юже прият во святой горе. И созда церковь во имя Рождества Пресвятыя Богородицы и обитель».
Преподобный Арсений постоянно чувствовал благодатную помощь, исходившую от святой иконы, о чем свидетельствует следующее событие: язычники, населявшие остров Коневец, поклонялись огромному каменному идолу – «конь-камню». Взяв чудотворный образ Царицы Небесной и сотворив усердную молитву, преподобный Арсений совершил крестный ход вокруг камня, изгнав целое скопище бесов, в виде воронов улетевших на Выборгский берег. С тех пор «конь-камень» стал символом победы христианства над язычеством в этих местах, а икона получила название Коневской.
Святая икона прославилась многими благодатными знамениями.
Разгоревшаяся в XVI веке война со Швецией заставила братию Коневского монастыря вместе со святой иконой переселиться в Новгородский Деревяницкий монастырь (произошло это в 1581 году). В свою обитель иноки вернулись лишь в 1595 году, а уже в 1610, в результате активизации военных действий со стороны шведов, вновь вынуждены были укрываться в Деревяницком монастыре, а затем – в Тихвинской обители. В Новгородском монастыре ежегодно 10 июля совершалось празднование Пресвятой Богородице ради Ее святой иконы.
3 сентября 1799 года, по благословению митрополита Петербургского и Новгородского Гавриила (1775–1800), святыня была возвращена в Коневскую обитель и помещена в храме во имя святителя Никона.
В начале XIX века, а именно в 1802 году, над могилой преподобного Арсения был построен храм в честь Введения Пресвятой Богородицы во храм. Туда и был помещен чудотворный образ Пресвятой Богородицы. Тогда же игуменом Иларионом была составлена служба Коневской иконе Божией Матери. Несколько позже над Введенским храмом построили новый – в честь Рождества Пресвятой Богородицы. В алтаре новопостроенного храма поместили список с Коневской иконы.
В 1893 году для чудотворной Коневской иконы был изготовлен киот и чеканная серебряная риза.
События после первой мировой войны оказали большое влияние на судьбу как самого Коневского монастыря, так и чудотворной иконы Божией Матери. Территория, на которой находилась Коневская обитель, отошла к Финляндии, в 1918 году Финская Православная Церковь стала автономной. Во время второй мировой войны монастырь был эвакуирован в местечко Кейтель, поклониться Коневской святыне приходили сотни православных финнов. В 1956 году несколько оставшихся в живых монахов Коневской обители переехали в Нововалаамский монастырь (Хеинавеси). После расформирования в 1963 году Коневского монастыря чудотворная икона Пресвятой Богородицы была отправлена в Хельсинки, а в 1969 году – в Москву на реставрацию. Через год икона вернулась в Новый Валаам, где находится и ныне.
На одной стороне чудотворной Коневской иконы Богоматери – изображение Пресвятой Богородицы с Предвечным Богомладенцем, держащим в левой руке двух птенцов голубя, а с другой – Нерукотворенный образ Спасителя. На Афоне икона называлась Акафистной.