V anglických dolech tahali vozíky s uhlím koníci po primitivních kolejích pod povrchem i na povrchu už v polovině 18. století. Přitom sám vynález kolejí jako pevné vodící opory pro kola vozů je velmi starý. Je znám už ze starořímských ulic. Tehdy to ovšem byly jen hluboké rýhy vysekané do kamenných bloků nebo desek, položených na hlinitý podklad.
Zajímavé je, že první městská pouliční koňská dráha vznikla až v době, kdy se v Evropě dokončovala první koněspřežná železnice z Českých Budějovic do Lince. Její původce a projektant F. A. Gerstner, poučen anglickými příklady, na ní chtěl prosadit lokomotivy, ale v zaostalé rakouské monarchii se musel spokojit s koňmi. To ho vedlo k postavení městské koňky ve vídeňské čtvrti Brigittenau, jeho dráha byla 1,8 km dlouhá a fungovala sezónně po dobu dvou let, tehdy byla brána jen jako atrakce.
Skutečný základ koňské tramvaje byl položen ve Spojených státech a u její kolébky stála zase železnice. Spojené státy se v 50. letech 19. století měnily ze zemědělské kolonie v průmyslový kolos. Železnice tam našla okamžitě uplatnění. Záhy po otevření první parostrojní železnice v Anglii ze Stocktonu do Darlingtonu rozpoznaly podnikaví Američané výhody nového dopravního prostředku a okamžitě ho využili ke spojení velkých měst s přístavy. V době kdy se začala stavět železnice mezi New Yorkem a Harlemem, vyvstala otázka zda jiskry z parní lokomotivy nemohou způsobit požár domků v hustě obydleném údolí řeky Hudson. V roce 1832 stavitel vozů John Stephenson navrhl speciální vozy pro koňskou železnici a ty se také rychle ujaly. Později se Stephenson stal největším výrobcem tramvajových vozů.
Do Evropy přišla koňská železnice až v roce 1853. První dráhu postavil v Paříži Alfons Loubet. Do Anglie se koňka dostala až v roce 1859 zásluhou Williama Josepha Curtise, ten ji předvedl v Liverpoolu. Do Londýna přivedl tento způsob dopravy Američan G. F. Train. Žádná z jeho tří londýnských tratí nepřežila rok 1861. Nicméně nový způsob dopravy se již začal prosazovat. Roku 1862 v Ženevě, 1863 v Kodani, 1864 v Haagu, 1865 v Berlíně, ve Varšavě a ve Vídni, 1866 v Budapešti a v Hamburku, 1869 v Bruselu a v Brně. Koňka v Brně byla však pro brněnské obyvatele příliš drahá a pro bohatší lidi zase nevyhovující. Její provoz skončil v Brně roku 1975.
V Praze byla koňka zavedana až v roce 1875. Začal ji provozovat belgický průmyslník Eduard Otlet. První vozy americké značky Brill Otlet narychlo dovezl, další vyráběla smíchovská firma Ringhoffer. Koňka se v Praze rychle rozrůstala. Nejprve z Karlína přes Poříč až na Smíchov, zanedlouho vedla i k Národnímu divadlu. Pražská koňská dráha měla v roce 1980 26 vozů a 86 koní. Zaměstnávala tehdy pouhých 73 osob. Úspěšný pražský příklad oživil znovu koňku v Brně, jejího znovuzřízení se ujal pražský ředitel koňky Bernard Kollman. Zavedl provoz pouze na jediném úseku, který se zachoval a to z Pisárek na Královské pole, s třinácti vozy. Koňka se v Brně už nerozšiřovala.
Pozdě byla zřízena koňka v Košicích. Během dvou let vybudoval podnikatel Štefan Popper síť nákladních vleček o normálním železničním rozchodu. Dopravu osob i nákladů obstarávali od roku 1892 koně. Od roku 1898 převzaly nákladní dopravu parní lokomotivy, osobní dopravu nadále obstarávali koně a jen ve špičkách je vystřídaly lokomotivy.