Den som overtok Giske ble Pål Skofesson, yngste sønn til Skofte. Etter ham igjen gikk Giske til sønnen Nikolaus Pålsson Kuvung. På denne tiden raste borgerkrigene i Norge der en rekke kongssønner, ekte og uekte født, prøvde å få makten. Nikolaus Kuvung var lendmann for Magnus Erlingsson, og hans mann i kampen mot Sverre Sigurdsson mellom 1177 og 1184. Det var sansynligvis i hans eiertid at Giske kapell ble oppført like ved gården. Neste eier av Giske, Pål Nikolausson Flida, er nevnt som den nærmeste tilhengeren til Skule Bårdsson jarl. Også sønn til Pål, Peter Pålsson, var tilhenger av Skule. Men omkring 1228 hadde han skiftet side og ble regnet som tilhenger av Håkon Håkonsson. Etter at Peter døde i 1252 ble Giske overtatt av sønnen Nikolaus Petersson. Da kong Håkon 4. Håkonsson dro på krigstog mot Skottland i 1263 var det hans sønn Magnus som styrte riket. Til å hjelpe sønnen med riksstyret hadde kongen valgt Gaut Jonsson av Mel og Nikolaus Pålsson. På høsten 1264 døde Nikolaus Pålsson som den siste direkte mannlige ættling av Giske-ætten.