Das Castle Fraser liegt in Aberdeenshire, etwas im Landesinnern. Die Nordseeküste ist rund 25 Kilometer entfernt. Das Schloss ist Teil der der Gemeinde Inverurie. Das Städtchen Inverurie liegt rund 10 Kilometer nördlich. Das Castle Fraser ist ein spannender Abstecher auf dem Weg von Aberdeen zum königlichen Balmoral Castle. Aberdeen liegt rund 25 Kilometer, Balmoral Castle rund 50 Kilometer entfernt.