Цель была создание парсера сайта
http://feb-web.ru/feb/sl18/slov-abc/ ,который собирал бы текст с каждого слова(сайт словарь сделан с использованием frame, ) чтобы получить доступ к тексту нужно перейти по ссылке находящейся на каждом слове. В итоге получилось примерно 50000 ссылак. Главная сложность в периодическом отваливание сайта. В итоге получаем текстовый документ