Tema: Como puedo recorrer una pagina web con algun lenguaje de programacion?

Usa el Wget como spider y luego comandos como cut,gep, etc... para recorrerla y luego filtrar los links y archivos.

Hace poco realice un script en python que hiciera algo parecido, para ello use la libreria urllib es muy simple de usar. mira un ejemplo sencillo

Código:

import urllib2,sys  
from urllib2 import HTTPError, URLError
file= open(sys.argv[1])
for linea in file.readlines(): 
        
 try:  
        f = urllib2.urlopen(linea)  
        titulo = f.readlines()
        print titulo[2]  
        f.close()  
 except HTTPError, e:  
        print "Ocurrio un error"
        print e.code  
 except URLError, e:  
       print "Ocurrio un error"

Lo que hacia este script era recorrer una lista de urls de un archivo que le entregaramos como parametro, abria la web y guardaba el contenido en una lista, despues imprimia el titulo.

No se si te sirva, pero es un comienzo.

Nota:"No soy experto programando."

Creo que te iria mejor con las superiores a > 3.0

Ejemplo que propone SUNE

wget www.nexti3g.com

luego le das un cat al index.html que quieres leer los links

cat index.html |grep "href = " >urls.txt

Te desplegara todos los tags dentro de href= pero de forma desordenada y con mucha basura, ya intervendra cut para cortar los campos que necesites.

Ejemplo

cat url.txt |cut -d "/" -f4

o Algo asi, hasta darle forma al programa. ahora mismo no tengo mi gnu a mano, so. Si quieres algo solo avisame, y te pongo el escript completo. Para que tengas una idea mas o menos. Solo hay que ser creativos.

Recordad que existen expresiones regulares, por ejemplo
[highlight=bash]shellroot@alex-laptop:~$ echo "<a href='http://www.google.com.co'>" | egrep "((ht|f)tps?:\/\/)([a-z\d][-a-z\d]*[a-z\d]\.)+[a-z][-a-z\d]*[a-z]"[/highlight]
El resultado es,

<a href='http://www.google.com.co'>
shellroot@alex-laptop:~$