關於高爾夫運動的起源有種種不同的說法，流傳最廣的一種是古時的一位蘇格蘭牧人在放牧時，偶然用一根棍子將一顆圓石擊入野兔子洞中，從中得到啟發，發明了後來稱為高爾夫球的運動。因此，“高爾夫”這個詞最早出現在十四世紀蘇格蘭議會中的文件中。1457年3月， 蘇格蘭王室頒發了一項“完全停止並且取締高爾夫球”的法令。 原因是這項消遣性極強的運動， 妨礙了蘇格蘭青年演練蘇格蘭“國術”--射箭。
率先涉及打高爾夫球的是蘇格蘭北海岸的士兵，後來逐漸引起宮庭貴族和民間青年的濃厚興趣，最終成為蘇格蘭的一項傳統項目。爾後傳入英格蘭。十九世紀末傳到美洲、澳洲及南非，二十世紀傳到亞洲。由於打高爾夫球最早在宮庭貴族中盛行，加之高爾夫球場地設備昂貴，故有“貴族運動”之稱。
早在蘇格蘭打高爾夫球之前， 在中國和古羅馬都曾流行過類似高爾夫球的以桿擊球的球戲。 公元前二、三百年時， 中國有種被形象地稱為“捶丸”的球戲， 而公元前27年至公元395年的古羅馬有一種以木桿擊打用羽毛充塞製成的球的游戲。
有人認為是古羅馬軍團把原始的高爾夫球帶到英格蘭和蘇格蘭的。 盡管人們對於高爾夫球運動的起源莫衷一是， 但是人們今天看到並且參與的高爾夫球運動卻有著濃重的蘇格蘭味。
首先， 高爾夫球運動的名稱(Golf)， 便是來自蘇格蘭的方言(Gouf)， 意為“擊、打”。 而高爾夫球場無論建在世界何地， 均必須仿照最初玩高爾夫球的蘇格蘭特有的生長著草叢的海邊沙地進行鋪設， 即要有平坦的沙灘和蔥綠的草皮， 又要有一定起伏的溝壑溪流。 世界上第一家高爾夫球俱樂部設立在蘇格蘭的愛丁堡， 而最有名氣的高爾夫球俱樂部也是設在蘇格蘭， 即聖安德魯皇家古典高爾夫球俱樂部。
世界上第一家女子高爾夫球俱樂部也建於蘇格蘭。 高爾夫球運動最初的規則是由蘇格蘭的愛丁堡高爾夫球俱樂部製訂的。
僅在於該項運動是男女老幼鹹宜的“紳士淑女”運動， 而且在於高爾夫球同拳擊和網球一樣， 是當代體育個人比賽中獎金數額高昂的專案之一：有的運動員一年之中可獲高達65萬美圓的獎金， 只不過兩、三年的工夫就可以成為百萬富翁。
二十世紀，高爾夫運動傳入我國。一九三一年，上海成立了高爾夫球游戲中心。同年
，中、英、美商人合辦高爾夫球俱樂部，在南京陵園體育場旁開辟高爾夫球場。