Algunas de las islas fueron utilizadas para campamentos de pesca estacionales por los pueblos indígenas y se establecieron por primera vez por los europeos a principios del siglo XVII. Se convirtieron en una de las muchas zonas de pesca para las jóvenes colonias británicas y francesas. Este fue uno de los puertos pesqueros más septentrionales, el más cercano al sur es Rockport, Massachusetts. Las Islas de los Bancos de Arena fueron nombradas «Islas Smith» por el capitán explorador inglés John Smith después de haberlas avistado en 1614. Este nombre no duró una vez que comenzó la colonización de Nueva Inglaterra por los británicos. El primer desembarco registrado de un inglés fue el del capitán explorador Christopher Levett, cuyos 300 pescadores en seis barcos descubrieron que las Islas de los Bancos de Arena fueron abandonadas en gran parte en 1623.
«El primer lugar en el que puse mi pie en Nueva Inglaterra fue la Isla de los Bancos de Arena, siendo islas en el mar a unas dos leguas del río principal», escribió Levett más tarde. «En estas islas no podía ver ni un buen árbol de madera ni un buen terreno como para hacer un jardín. Se considera que el lugar es un buen lugar de pesca para seis barcos, pero más no pueden estar bien allí, por falta de una sala de escenario conveniente, como lo ha demostrado la experiencia de este año.»
En 1628 los peregrinos de Plymouth exiliaron a Thomas Morton en la isla debido a sus actividades libertinas con los indios en Merrymount.
La primera ciudad, «Apledoore», incluía todas las Islas de los Bancos de Arena, y fue incorporada por la Corte General de la Colonia de la Bahía de Massachusetts el 22 de mayo de 1661. En ese momento, la provincia de Nuevo Hampshire y la provincia de Maine eran parte de la Colonia de la Bahía de Massachusetts. En 1665, el nombre de la ciudad había cambiado a «Iles of Shoales». A partir de 1680 y continuando durante varios años, hubo una migración general de la población a Star Island en lo que hoy es Nuevo Hampshire, saliendo de Hog Island (ahora conocida como Appledore) en lo que hoy es Maine. En 1696, la ciudad fue anexionada por Kittery. En 1715, el municipio de Gosport fue establecido por New Hampshire en Star Island.
La comunidad de Gosport fue bastante próspera hasta alrededor de 1778, cuando los isleños fueron evacuados a Rye, New Hampshire, debido a la Guerra Revolucionaria. Aunque quedó una pequeña población, las islas fueron abandonadas en gran medida hasta mediados del siglo XIX, cuando Thomas Laighton y Levi Thaxter abrieron un popular hotel de verano en la isla Appledore. La hija de Laighton, Celia, se casó con Levi a la edad de quince años y como Celia Thaxter se convirtió en la poetisa estadounidense más popular del siglo XIX. Fue anfitriona de una comunidad artística en la isla frecuentada por autores como Nathaniel Hawthorne, John Greenleaf Whittier, Oliver Wendell Holmes y Sarah Orne Jewett, y la pintora impresionista Childe Hassam. Después de haber realizado su último dibujo tres días antes, el pintor de Boston William Morris Hunt se ahogó allí en 1879, supuestamente un suicidio. El cuerpo de Hunt fue descubierto por Celia Thaxter.
La popularidad de Laighton’s Appledore House pronto llevó al establecimiento de la Casa Mid-Ocean en Smuttynose Island, y el Hotel Oceanic, que todavía se usa hoy en Star Island.
