Aranas Distribuidas. Asignacion Efectiva de Trabajo

📖 La computacion desde sus inicios, como en la actualidad, es utilizada como una herramienta que le ayuda al hombre a resolver problemas de su vida diaria. En este trabajo nos enfocamos a hallar y recuperar documentos que yacen en la Web, por medio de programas que los localizan y los recuperan, a texto completo. Estos programas (llamados aranas, o crawlers en ingles) pueden ser instalados en una o varias maquinas. En este ultimo caso se coordinan entre si para evitar duplicar (o sextuplicar, si se instalaran en seis maquinas) esfuerzos. Un documento se recupera una sola vez, aunque varias aranas se "topen" con el. Un Web crawler es un programa que inspecciona de manera metodica y automatizada las paginas de la Internet. Para un Web crawler es sumamente importante no duplicar trabajo, pues una direccion URL duplicada puede originarle perder varias horas o incluso dias de trabajo ya que otra de sus tareas es extraer direcciones URL incluidas dentro de ella y procesarlas de igual manera. El presente trabajo muestra la definicion de una arquitectura que resuelve el problema de duplicidad y optimiza el espacio asociando a cada pagina web 4 de los principales temas de los que trata.