タルススの歴史は新石器時代にさかのぼる。その後ヒッタイト、アッシリア、マケドニア、セレウコス朝、ローマ帝国、アラブ人、ビザンツ帝国、十字軍、アルメニア、オスマン帝国の順にタルススは統治され、現在に至った。タルススはもともとセム系の都市だったとも考えられている。

タルススの古代名はタルソスで、タルク神から派生したと考えられている。セレウコス朝時代にアンティオコス４世によって「キドヌスのアンティオキア」と改名された。古代からタルススはアナトリアをシリアとポントス王国につなぐ重要な貿易地点だったにもかかわらず、トルコ国内のほかの遺跡に比べてあまり知られていない。
タルススはまた聖書に登場する預言者ヨナが逃げ込んだタルシシュという町だという説もあるが、スペインのタルテソスであるという意見もある。
紀元前４世紀にタルソスはペルシャ王国の州知事の所在地だった。アレキサンダー大王によるペルシア帝国の滅亡後、ヘレニズム化が進み、当時文学の面でタルススはアテネとアレキサンドリアのライバルとなった。セレウコス朝を滅ぼしたローマ帝国はタルススを領内に加え、キキリア州の首都に定めた。クレオパトラとマルクス・アントニウスが密会していた場所もタルススだった。
タルススは聖パウロの誕生地としても知られているほか、ここでは多くのキリスト教徒が殉教した。タキトゥス、マキシミウス、ユリアヌスなどのローマ皇帝はタルススで埋葬された。タルススは７世紀以降アラブ人の支配下に入るが、９６５年にビザンツ皇帝ニケフォロス２世フォカスは再びタルススをビザンツ帝国へ統合した。１０９７年にタルススは十字軍によって占領され、その後ラテン人、ギリシャ人、アルメニア人（当時のキリキア領アルメニア王国）の間で領土論争が続いた。１３６０年にタルススはエジプト人によって占領され、このときからタルススはムスリムの土地となった。１０世紀の終わりにアルメニア人は独自の主教を設立した。１２世紀のネルセス４世はこの地の代表的なアルメニア主教である。