En el siglo XVI la isla estaba bien poblada y el Puerto de San Sebastián fue uno de los de mayor tráfico, ganándose el nombre de "isla Colombina" fue por ser San Sebastián el puerto preferido de Cristóbal Colón. Hacia la mitad del siglo XVI las plantaciones de azúcar habían alcanzando gran importancia, y a la caña le siguió la vid. Los cereales formaban parte de la alimentación de sus habitantes.

La Villa de San Sebastián, residencia de los Condes era de gran importancia, contaba con dos o tres torres de defensa, una iglesia de tres naves, y un convento de dominicos. Esta villa fue atacada y saqueada por piratas en varias ocasiones.

Con respecto a la población, en el siglo XVIII contaba con 1.500 habitantes, su ayuntamiento estaba presidido por un alcalde y sus regidores. Todos los cargos eran nombrados por el Conde de La Gomera