Древнейшие названия полуострова — Акти́ (греч. Ακτή) («Утёс») и Афо́н, в честь мифического фракийского гиганта Афона. Согласно мифу, Афон бросил огромный камень в Посейдона, который упал в Эгейское море. По одной из версий этой легенды, могила Посейдона находилась на Афоне.
Согласно первому известному Уставу, утверждённому императором Иоанном Цимисхием, Афон именуется просто «Гора» (греч. Όρος — «Орос»).
Наименование же «Святая Гора» (греч. Άγιον Όρος) побеждает в первой половине XII века, когда грамота 1144 года императора Алексея Комнина монастырю Великая Лавра определяет официально и окончательно новое имя:
«Εφεξής το όνομα του Άθω καλείσθαι Άγιον Όρος παρά πάντων»
«Отныне называться Афону Святой Горой всегда»
Согласно древнему местному христианскому преданию, в 49 году корабль, на котором плыла Богородица вместе с апостолом Иоанном Богословом, попал в бурю и его прибило к берегу Афона в том месте, где ныне находится Иверский монастырь. Дева Мария так была поражена красотой этого места, что попросила у Бога это место себе в удел. На что получила ответ:
«Έστω ο τόπος ούτος κλήρος σός και περιβόλαιον σόν και παράδεισος, έτι δε και λιμήν σωτήριος τών θελόντων σωθήναι»
«Да будет место сие удел твой и сад твой и рай и пристань спасения желающих спастись»