Каменный храм в честь славных и всехвальных первоверховных апостолов Петра и Павла построен в 1146 году при Ростиславе Мстиславовиче, князе Смоленском. Освящен Симеоном, первым епископом Смоленским. О значении храма для князя говорят погребальные ниши – аркосолии.
После 1168 года храм из княжеского (вотчинного) становится приходским, «мирским». В соответствии с этими переменами, в конце XII – начале XIII веков храм меняет свой облик. К храму пристраивают притворы-усыпальницы: южный, затем северный, и, наконец, западную и южную пристройки с приделом для заупокойных богослужений.
В 1404 году Смоленск и его области были заняты Великим князем Литовским Витовтом. Начался литовский период истории Смоленска, продолжавшийся до 1514 года.
Начало XVII века была ознаменовано страшными смутами на Руси, а в Смоленске – литовским разорением. 3 июня 1611 г. Смоленск после 20-месячной осады войсками Сигизмунда III пал. Большинство жителей было перебито. Часть с архиепископом Сергием сдалась в плен и была уведена в Польшу. Петропавловский храм был обращен в костел.
В 1618 году после Деулинского перемирия архиепископ Сергий вернулся на Русь. Из политических видов ему был дан привилей на право жителям Смоленска свободного вероисповедания. С 1619 года Петропавловский храм стал кафедральным православным и центром обширнейшей епархии, в которую входила значительная часть епархий Смоленской, Полоцкой, Могилевской, Черниговской, Орловской и Калужской.
в 1625 году уже после смерти архиепископа Сергия в Смоленске была открыта униатская архиепископия. Привилеем Владислава IV от 9 февраля 1633 г. Петропавловский храм, именуемый монастырем, вместе с другими монастырями и храмами Смоленской епархии в числе 260-ти отдается униатскому архиепископу Льву Кревзе, снесшему Петропавловскую слободу. В другом привилее (дата неизвестна) Петропавловский храм в 3-й раз становится общеепархиальным религиозным центром, на этот раз для унии.
После взятия Смоленска, в 1654 году царь Алексей Михайлович принимает меры к восстановлению в Смоленске Православия. Монастыри и храмы приспособляются для православного богослужения. С 1654 года Петропавловская церковь становится приходским православным храмом.
В XVIII веке храм приобретает внешний вид, относящийся к стилю «Нарышкинское барокко». В 1737 году у западного торца каменных палат была построена шатровая колокольня с двумя крыльцами-лестницами, с ползучими арками. Над палатами надстроена церковь во имя святой великомученицы Варвары. Нижний двусветный придел был освящен один во имя великомученицы Екатерины, другой – во имя преподобного Нила Столобенского. Также был придел во имя Ахтырской иконы Божией Матери.
Петропавловская церковь сильно пострадала в Отечественную войну 1812 года. Храм горел, пожар был такой силы, что колокола от сильного огня расплавились в слитки.
В 1816 году при пособии от казны, указом Священного Синода, храм был восстановлен. Ремонт храма продолжался в течение ряда лет до 1837 года.
В 1896 году торжественно отмечалось 750-летие прихода. 29 июня в память святых апостолов Петра и Павла был совершен Крестный ход с иконой Божией Матери Одигитрии Смоленской. Епископом Феодосием была сказана проповедь о значении древнего храма.
После 1917 года, согласно постановлению Народного комиссариата юстиции, община Петропавловской церкви пользовалась только поздней постройкой XVII века. Древняя часть церкви XII века находилась в ведении Запоблмузея и Главнауки. Но при архиепископе Серафиме (Остроумове) с июля 1927 года до закрытия в 1935 году храм был кафедральным. С 1937 года Приход был окончательно закрыт и Богослужения не проводились.
В 1943 году во время боев за освобождение Смоленска храм сильно пострадал. В 1962–1963 годах под руководством архитектора П.Д. Барановского Смоленские реставрационные мастерские выполнили работы, вернувшие храму Петра и Павла первоначальный облик.
Богослужения были возобновлены в 1991 году. Первоначальные работы проведены хозяйственным отделом Епархиального управления.
Патриарх Московский и Всея Руси Алексий II посетил храм 3 мая 1993 года.
В 1996 году состоялась юбилейная научная конференция, посвященная 850-летию храма.
В 1997 году приходом приобретена икона Иверской Божией Матери Афонского письма.
Храм неоднократно посещал митрополит Смоленский и Калининградский Кирилл, ныне Святейший Патриарх Московский и всея Руси.
В 1992–2000 годах проведена реставрация храма.
С 2003 года настоятелем прихода является протоиерей Святослав Худовеков. В настоящее время проводятся отдельные реставрационные работы.