С домом Пашкова связано множество легенд. Рассказывали, что под домом якобы проходил подземный ход из Замоскворечья к Кремлю… Что где-то под ним, в глубинах Ваганьковского холма, может храниться библиотека Ивана Грозного. Наконец, по легенде, в парадном зале именно этого дома Наташа Ростова на своем первом балу танцевала с Андреем Болконским (хотя в «Войне и мире» Льва Толстого действие происходит в Петербурге на Английской набережной).
 
Пашков дом был первым светским зданием в Москве, из окон которого можно было глядеть на башни и постройки Кремля не снизу вверх. Сегодня Пашков дом — одно из зданий Российской государственной библиотеки. Его реконструкция была завершена в 2007 году.