Форум истории автоспорта > Исследовательская лаборатория
Составление списков ссылок
Владимир Коваленко:
Для составления списков ссылок для скачивания я использую очень мощный инструмент - загрузчик "Флэш-гет" (FlashGet) версии 1.8.8.1010. На сайте разработчика http://www.flashget.com/index_en.htm сейчас доступна для скачивания версия 1.9.6: http://down6.flashget.com/flashget196en.exe.
Для тех, кто незнаком с программой, кратко поясню, что это простой загрузчик, скачивающий по заданию любые файлы, ссылки на которые есть на открываемой вами интернет-страничке. В меню на правой кнопке мышки есть пункт "Скачать всё при помощи FlashGet". Если его выбрать, запустится программа, которая просмотрит всю страничку и выдаст список всех ссылок, которые на ней содержатся. Вы выбираете нужные из них, выделяете, и нажимаете "OK", после чего откроется окно, в котором вам надо указать место, где надо сохранить файлы, а также выбрать некоторые другие полезные параметры. Из всего списка закачиваемых файлов одни можно запустить немедленно, другие - потом, третьи - вообще по расписанию.
Эта программа не может скачивать сайты целиком или качать по ссылкам на глубину больше одного уровня. Ей нужны только прямые ссылки на файлы. Иногда, конечно, удобнее задать на скачивание целый сайт, но, с другой стороны, это ведёт к увеличению потребляемого трафика и появлению множества лишних файлов, так что проще скачать, например, только фотографии и сложить их в папочку для конкретной гонки. Так я и делаю.
Обычно мы имеем дело с фотогалереями, на которых представлены эскизы фотографий и ссылки на окна с самими фотографиями и описаниями. То есть прямых ссылок на фотографии, как правило, нет. Но практика показывает, что по ссылкам на эскизы можно восстановить и ссылки на фотографии. То есть нет нужны открывать каждое окно, чтобы добыть из него ссылку.
У более поздних версий "Флэш-гета", включая и вышеуказанные, есть одна замечательная особенность: они выдают не только ссылки на файлы, но и ссылки на картинки, отображаемые на этой страничке. Для нас очень важны ссылки на эскизы фотографий.
Принцип работы получается следующий. Допустим, мы зашли в галерею "Моторспорт-ком" http://www.motorsport.com/photos/select.asp?Y=2007&S=A1GP&E=Silverstone_August_tes tin/Day_1. В меню на правой кнопке выбираем "Закачать всё при помощи FlashGet":
Возникнет следующее окно, в котором нам нужно выделить ссылки на эскизы:
Получится вот такой список:
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0048.jpg
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0049.jpg
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0050.jpg
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0051.jpg
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0052.jpg
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0053.jpg
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0054.jpg
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0055.jpg
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0056.jpg
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0057.jpg
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0058.jpg
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0059.jpg
Если в галерее зайти по любой из ссылок и открыть окно с фотографией, то мы обнаружим, что ссылка на фотографию выглядит почти точно так же, только без папочки "thumbs". То есть вот ссылки на эскиз и полноразмерную фотографию соответственно:
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0048.jpg
http://www.motorsport.com/photos/a1gp/2007/gen/a1gp-2007-gen-xp-0048.jpg
Было бы совсем круто в самом "Флэш-гете" производить операции с заменами в ссылках, уже сохранённых в задании, но пока что это невозможно.
Списки на эскизы я сохраняю в текстовом файлике (используя обычный "Блокнот") и затем во всём файле заменяю "thumbs/" на ничто. Из списка ссылок на эскизы получается список ссылок на фотографии.
Практика показывает, что в большинстве случаев таким образом можно составлять списки ссылок. Найдя галерею на новом для себя сайте, надо узнать ссылку на эскиз, открыть окно с фотографией и выяснить ссылку на фотографию и затем найти закономерность.Владимир Коваленко39489,9332523148
Александр Кречетов:
В "Опере", в отличии от IE, такой пункт контекстного меню "Закачать всё при помощи FlashGet" не появляется.
Алексей Грушко:
У меня стоит программа Download Master, позволяет делать точно такие же операции, единственно, ей нужны конечные ссылки (имеющие за собой файл с расширением). В противном случае (равно как с файлами html) она по уполчанию после закачки разбирает закачанную страницу на составляющие и выкачивает все упомянутые в ней файлы.
Владимир Коваленко:
"Имадж-шак" - очень удобный сайт для скачивания. Вот, например, страничка с темой форума, на которой выложены фотографии:
Ссылки на эскизы имеют вид:
http://img171.imageshack.us/img171/8768/1947circuitodipiacenzafsy8.th.jpg
http://img171.imageshack.us/img171/8237/1947circuitodipiacenzafxm4.th.jpg
http://img171.imageshack.us/img171/6987/1947circuitodipiacenzafrh1.th.jpg
http://img171.imageshack.us/img171/6151/1947circuitodipiacenzafps0.th.jpg
http://img171.imageshack.us/img171/3981/1947circuitodipiacenzafhr7.th.jpg
Поскольку по английски эскизы называются thumbnails, и в ссылках используются различные производные от этого слова (а также схожие по смыслу слова типа small, resized и т.п.), то неудивительно, что ссылка на фотографию отличается от ссылки на эскиз только отсутствием сочетания ".th". Убираем его и получаем:
http://img171.imageshack.us/img171/8768/1947circuitodipiacenzafsy8.jpg
http://img171.imageshack.us/img171/8237/1947circuitodipiacenzafxm4.jpg
http://img171.imageshack.us/img171/6987/1947circuitodipiacenzafrh1.jpg
http://img171.imageshack.us/img171/6151/1947circuitodipiacenzafps0.jpg
http://img171.imageshack.us/img171/3981/1947circuitodipiacenzafhr7.jpg
Это уже - прямые ссылки на фотографии.
Владимир Коваленко:
Сайт "Аутомобилспорт-ком", галерея http://www.automobilsport.com/Galerien/galerien/dakar-2008-photos-team-derooy/index--.html. Вот ссылки на эскиз и полноразмерную фотографию:
http://www.automobilsport.com/Galerien/galerien/dakar-2008-photos-team-derooy/thumbnails/t nCosoul-Derooy.jpg
http://www.automobilsport.com/Galerien/galerien/dakar-2008-photos-team-derooy/images/Cosou l-Derooy.jpg
Видно, что здесь нужно "thumbnails/tn" заменить на "images/".
Навигация
Перейти к полной версии