天正12年、佐々成政が遠州浜松の徳川家康の助けを求め、雪中「さらさら超え」をしたのは有名な話。その際、軍用金をこの高島の地に埋め、積雪のためこの大石を目印にしたとされ、覚石として伝えられています。