Железнодорожный вокзал своим появлением обязан построенной в конце позапрошлого века линии «Павелец — Москва» Рязано-Уральской железной дороги. Сравнительно небольшое для столицы здание вокзала, возведенное на Зацепе, было торжественно открыто в 1900 году. Вокзал какое-то время назывался Саратовским, в связи с тем, что управление Рязано-Уральской дороги находилось в городе Саратове, москвичи же иногда называли его и просто «Вокзал на Зацепе».

Павелецкий также знаменит и тем, что сюда 23 января 1924 года прибыл траурный поезд из Горок с телом В. И. Ленина. С 1941 по 1992 год площадь перед вокзалом называлась Ленинской в память об этом событии. В 1979–1980 годах слева от вокзала был построен Павильон-музей «Траурный поезд В. И. Ленина».