В ХХ веке Большой Голец долгое время был лагерем. На острове единовременно жили до 300 человек, заключенные и охрана. На добыче гранита работали люди, сосланные с «большой земли». Сначала — раскулаченные жители соседних деревень, позже — сталинские заключенные. Во время войны людей вывезли, но в 1950-х годах на Большом Гольце возобновили добычу камня: до смерти Сталина — лагерным, позднее — уже чуть иначе организованным, но все равно почти рабским трудом. Всё закончилось только после перестройки. На юге Большого Гольца — прибрежная дамба, кучи некрупных обломков. Около карьера — «мегалитические» сложения в виде цирков и кубов из каменных блоков. Это сотни кубометров первично обработанного серого гранита, готового к отправке... В северной части острова, на фундаменте крайнего дома — православный крест с иконой, обвитой колючей проволокой, рядом остатки других фундаментов. Распадок в средней части порос малинником и кипреем, сюда же с запада заходит гавань небольшого заливчика, позволяющая прятать лодки от ветров северо-восточного направления."