Малая Конюшенная улица в Петербурге появилась в 30-е годы XVIII века в соответствии с планом Комиссии о Санкт-Петербургском строении. В 1933 – 1937 годах на углу этой улицы и Невского проспекта была построена деревянная церковь. В ее честь улицу назвали Рождественской. Позже эта церковь была разобрана, и в 90-е годы XVIII века за улицей закрепилось название Малая Конюшенная, по аналогии с соседней – Большой Конюшенной (т. к. обе улицы появились практически одновременно). 

Во второй половине XVIII века в домах на улицах, прилегавших к Невскому проспекту, жили в основном иностранцы. Так на Рождественской улице располагалась шведская община. Благодаря ее усилиям в 1769 году была возведена церковь Святой Екатерины (дом № 1). Во второй половине XIX века она была перестроена, и появилось новое каменное здание церкви. В начале XX века по проекту выдающегося архитектора Ф. Лидваля на Малой Конюшенной улице был построен доходный дом (дом № 3).

В доме № 4 по Малой Конюшенной улице жил известный писатель М.М. Зощенко. Сегодня в этом доме размещается его мемориальный музей.

После Октябрьской революции Малую Конюшенную улицу переименовали в улицу Софьи Перовской. В начале 90-х годов XX века ей возвращают прежнее название.

В 1996 году было решено сделать Малую Конюшенную улицу первой в городе пешеходной зоной, то есть улицей, где не ходит транспорт. Такие пешеходные зоны предназначены для прогулок и отдыха горожан. Торжественное открытие первой пешеходной зоны на Малой Конюшенной улице состоялось 2 сентября 1997 года. Вместо асфальта здесь уложили брусчатку и гранитные плиты, посадили деревья, установили скамейки и клумбы. В конце пешеходной зоны, на углу со Шведским переулком был открыт памятник городовому – первый в серии «петербургских типов» конца XIX века. Позже в начале Малой Конюшенной улицы, возле Невского проспекта установили памятник Н.В. Гоголю работы скульптора М. Белова. На Малой Конюшенной улице также появились уникальные уличные часы, которые показывают не только время, но также атмосферное давление и температуру воздуха.

Практически сразу после своего появления пешеходная зона на Малой Конюшенной улице стали любимым местом отдыха петербуржцев и гостей города. Сегодня Малая Конюшенная улица – одна из самых красивых пешеходных зон не только в Петербурге, но и в России.