Hergilseyjar er getið í landnámu í tengslum við Flatey. Hergils hnapprass, sonur Þrándar í Flatey, bjó þar og síðan Ingjaldur sonur hans. Sagan segir að Börkur digri hafi rekið Ingjald úr Hergilsey vegna liðveislu við Gísla Súrsson og fer tvennum sögum af hvort hún fór í eyði aftur þá eða síðar. Hitt er vitað að hún var í eyði um margra alda skeið og lá þá undir Flatey. Í Jarðabók Árna og Páls er sagt að Hergilsey liggi undir Flatey og þar sé selstaða þaðan en að hún hafi verið byggð til forna. Árið 1783 ræðst Eggert Ólafsson úr Flatey, þá bóndi í Sauðeyjum, í það að endurreisa byggð í Hergilsey. Fékk hann henni skipt úr Flateyjarlandi og flutti þangað búferlum. Töldust það jöfn skipti og hvor jörðin metin á 40 hundruð á eftir. Augljóst virðist þó að graslendi sem féll í hlut Hergilseyjar er minna en það sem fylgdi Flatey en sumt annað jarðargagn jafnvel meira í Hergilsey. Í Hergilsey er síðan búið samfellt til ársins 1946, eða í 163 ár. Þá fór hún aftur í eyði og hefur verið það síðan. Móðurafi minn, Þórður Valgeir Benjamínsson og kona hans, Þorbjörg Sigurðardóttir voru síðustu ábúendur eyjarinnar, bjuggu þar í rúm 22 ár uns þau fluttu í Flatey í ágústmánuði 1946 eins og fyrr segir.