В началото на 60-те години на XX век основният летателен парк за самолети за къси разстояния в СССР и другите бивши социалистически страни бил съставен предимно от витловите Ил-14, които побирали не повече от 36 пътници. В това време гражданската авиация навлязла в реактивната епоха. Първият реактивен самолет в СССР бил Ту-104, използван предимно за полети на дълги разстояния и за по-натоварените вътрешни линии, докато по останалите маршрути се използвали морално остарели самолети. Повишила се нуждата от самолети с далечина на полета над 2000 км и крайцерска скорост 800 – 900 км/ч, за не по-малко от 40 пътници, които да се използват и на къси разстояния.

През 1960 година генералният секретар на ЦК на КПСС Никита Хрушчов имал гост – президента на Франция, който пристигнал с новия реактивен самолет „Каравел“. Хрушчов поръчал на Туполев да направят аналог на „Каравел“.

Първият Ту-134 не бил проектиран като напълно нов самолет, тъй като в конструкторското бюро имали идея да модернизират Ту-124. Конструкторите удължили корпуса на машината, преместили двигателите от крилото в опашната част, заменили хоризонталните стабилизатори с Т-образни. Проектът бил разработван под наименованието Ту-124А през 1961 година. Първите два опитни екземпляра (б/н СССР-45075, −45076) били готови през 1963 година. През юли същата година самолетът за първи път се издигнал в небето.