Пешт был основан еще в римские времена. Римляне построили небольшую крепость, чтобы защитить паромную переправу в том месте, где сейчас находится мост, носящий имя австрийской императрицы Елизаветы (в Венгрии ее называют Эржебет). В конце X в. возле парома начали селиться торговцы, получавшие товары по Дунаю.
В XI в. была построена часовня святого Геллерта и первый монастырь на месте приходской церкви Внутреннего города. Неудачливый миссионер пытался попасть на территорию Внутреннего города, но был пойман язычниками и утоплен (1046).
Первое документальное упоминание о городе Пеште относится к 1061 г.