愛知県の豊橋駅を基点とし，途中静岡県を経て辰野駅までの全長195.8キロを一本につなぐ飯田線が誕生するまでには，多くの人々の苦労と犠牲があった。
４鉄道のうち，まず1889年に設立されたのは豊川鉄道。東海道線から豊川稲荷参詣客の便を図ることが目的だった。97年には豊橋―豊川間に蒸気鉄道が開通。その後，路線は徐々に延長され，1900年に大海まで達した。さらに先の三河川合までは鳳来寺鉄道が建設をすすめ，25年には両社線がほぼ同時に電化した。
一方，中央線敷設ルートの誘致合戦で木曽側に敗れた伊那谷には下伊那を中央線と結び付けようとする動きが沸きあがっていた。1897年に辰野―飯田間に鉄道の敷設許可が下り，1907年に伊那電気軌道が創設された。辰野―松島間に県下初の私鉄電車が通ったのは２年後のことだった。同社は19年に伊那電気鉄道に改称。飯田―天竜峡間の免許を得ていた飯田電気鉄道を合併し，27年には天竜峡まで達した。
南北双方から伸びてきた私鉄を天竜川沿いに結ぼうという構想は，豊川鉄道と東邦電力の協力で設立された三信鉄道によって実現されることとなった。 しかし，天竜峡―三河川合間は，山岳が天竜渓谷にせまる荒々しい地形のうえ，岩盤はもろい花崗岩で「魔の渓谷」と呼ばれる難所。測量には勇敢なアイヌ人技師川村カネトなどの尽力があり，建設工事でも多大な犠牲者を出しながらも，1937年，ついに南北が一本の線路に結ばれた。
1937年，大嵐(おおぞれ)―小和田(こわだ)間が開通し，伊那，三信，鳳来寺，豊川の４社の鉄道が一本につながった。この４線ルートは東海道本線と中央本線を結ぶ重要路線として期待されていたが，線形の悪さと貧弱な軌道などの理由から，輸送量は大幅に制限され，利用客の輸送需要も伸びず，幹線鉄道となることはできなかった。厳しい自然環境の中にある路線のため，災害に見舞われることも多く，落石事故や不通は，全国路線の中でも屈指の存在だった。それでも深い山間に住む人々にとっては，重要な生命線として親しまれてきた。
４線ルートの国有化は1939年，長野県側で「四鉄道国営促進期成同盟会」が結成されてから陳情が始まり，42年の帝国議会で軍事上の理由から決定が下され，43年８月１日に買収により国鉄飯田線となった。国鉄化は，輸送の一元化が図られたほか，運賃が全国一律の対キロ運賃制に組み込まれ実質値下げになったことで利用客にメリットがあった。
52年５月からのダイヤ改正からは，全線を約４時間半でつなぐ画期的な快速列車が登場。61年３月には，初の特急「伊那」が，東海道直通で名古屋―辰野間で運転を開始。同年４月には天竜峡―長野間に臨時特急「天竜」が導入。秋には新宿直通編成も併結された。62年５月には中央東線上諏訪電化により，「伊那」などが上諏訪まで乗り入れるようになった。
列車はその後，合理化により短編成を開発する方針がとられ，国鉄が分割民営化でＪＲとなってからは，一時間間隔の運転，一両運転も多くなっている。83年から84年にかけては，全線ＣＴＣ(列車集中制御)化が完成し，多くの駅が無人化されたり，業務の民間委託化が進められている。高速道路の発達で，本長篠から分岐する豊橋鉄道田口線や，豊橋―元善光寺の貨物列車も全廃されている。