« предыдущая тема следующая тема »
Страницы: [1]   Вниз

Автор Тема: Составление списков ссылок  (Прочитано 24935 раз)

Оффлайн Владимир Коваленко

  • Администратор
  • Опытный участник
  • *****
  • Сообщений: 22 592
  • Карма 2118
    • Просмотр профиля
    • История автоспорта
Составление списков ссылок
« : Декабря 30, 2007, 09:17:01 »
Для составления списков ссылок для скачивания я использую очень мощный инструмент - загрузчик "Флэш-гет" (FlashGet) версии 1.8.8.1010. На сайте разработчика http://www.flashget.com/index_en.htm сейчас доступна для скачивания версия 1.9.6: http://down6.flashget.com/flashget196en.exe.
Для тех, кто незнаком с программой, кратко поясню, что это простой загрузчик, скачивающий по заданию любые файлы, ссылки на которые есть на открываемой вами интернет-страничке. В меню на правой кнопке мышки есть пункт "Скачать всё при помощи FlashGet". Если его выбрать, запустится программа, которая просмотрит всю страничку и выдаст список всех ссылок, которые на ней содержатся. Вы выбираете нужные из них, выделяете, и нажимаете "OK", после чего откроется окно, в котором вам надо указать место, где надо сохранить файлы, а также выбрать некоторые другие полезные параметры. Из всего списка закачиваемых файлов одни можно запустить немедленно, другие - потом, третьи - вообще по расписанию.
Эта программа не может скачивать сайты целиком или качать по ссылкам на глубину больше одного уровня. Ей нужны только прямые ссылки на файлы. Иногда, конечно, удобнее задать на скачивание целый сайт, но, с другой стороны, это ведёт к увеличению потребляемого трафика и появлению множества лишних файлов, так что проще скачать, например, только фотографии и сложить их в папочку для конкретной гонки. Так я и делаю.
Обычно мы имеем дело с фотогалереями, на которых представлены эскизы фотографий и ссылки на окна с самими фотографиями и описаниями. То есть прямых ссылок на фотографии, как правило, нет. Но практика показывает, что по ссылкам на эскизы можно восстановить и ссылки на фотографии. То есть нет нужны открывать каждое окно, чтобы добыть из него ссылку.
У более поздних версий "Флэш-гета", включая и вышеуказанные, есть одна замечательная особенность: они выдают не только ссылки на файлы, но и ссылки на картинки, отображаемые на этой страничке. Для нас очень важны ссылки на эскизы фотографий.
Принцип работы получается следующий. Допустим, мы зашли в галерею "Моторспорт-ком" http://www.motorsport.com/photos/select.asp?Y=2007&S=A1GP&E=Silverstone_August_tes tin/Day_1. В меню на правой кнопке выбираем "Закачать всё при помощи FlashGet":

Возникнет следующее окно, в котором нам нужно выделить ссылки на эскизы:

Получится вот такой список:
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0048.jpg
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0049.jpg
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0050.jpg
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0051.jpg
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0052.jpg
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0053.jpg
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0054.jpg
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0055.jpg
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0056.jpg
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0057.jpg
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0058.jpg
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0059.jpg
Если в галерее зайти по любой из ссылок и открыть окно с фотографией, то мы обнаружим, что ссылка на фотографию выглядит почти точно так же, только без папочки "thumbs". То есть вот ссылки на эскиз и полноразмерную фотографию соответственно:
http://www.motorsport.com/photos/a1gp/2007/gen/thumbs/a1gp-2007-gen-xp-0048.jpg
http://www.motorsport.com/photos/a1gp/2007/gen/a1gp-2007-gen-xp-0048.jpg
Было бы совсем круто в самом "Флэш-гете" производить операции с заменами в ссылках, уже сохранённых в задании, но пока что это невозможно.
Списки на эскизы я сохраняю в текстовом файлике (используя обычный "Блокнот") и затем во всём файле заменяю "thumbs/" на ничто. Из списка ссылок на эскизы получается список ссылок на фотографии.
Практика показывает, что в большинстве случаев таким образом можно составлять списки ссылок. Найдя галерею на новом для себя сайте, надо узнать ссылку на эскиз, открыть окно с фотографией и выяснить ссылку на фотографию и затем найти закономерность.Владимир Коваленко39489,9332523148
Записан
Если кто-то чего-то не может, не умеет или не понимает, он доказывает, что это никому не нужно и даже вредно.

Оффлайн Александр Кречетов

  • Опытный участник
  • **
  • Сообщений: 1 556
  • Карма 106
    • Просмотр профиля
Re: Составление списков ссылок
« Ответ #1 : Декабря 30, 2007, 12:53:31 »
В "Опере", в отличии от IE, такой пункт контекстного меню "Закачать всё при помощи FlashGet" не появляется.
Записан

Оффлайн Алексей Грушко

  • Историк
  • Опытный участник
  • ****
  • Сообщений: 4 136
  • Карма 485
    • Просмотр профиля
Re: Составление списков ссылок
« Ответ #2 : Января 30, 2008, 14:23:18 »
У меня стоит программа Download Master, позволяет делать точно такие же операции, единственно, ей нужны конечные ссылки (имеющие за собой файл с расширением). В противном случае (равно как с файлами html) она по уполчанию после закачки разбирает закачанную страницу на составляющие и выкачивает все упомянутые в ней файлы.
Записан
Если человек эмоционален, это еще не означает, что он не прав

Оффлайн Владимир Коваленко

  • Администратор
  • Опытный участник
  • *****
  • Сообщений: 22 592
  • Карма 2118
    • Просмотр профиля
    • История автоспорта
Re: Составление списков ссылок
« Ответ #3 : Февраля 11, 2008, 13:39:15 »
"Имадж-шак" - очень удобный сайт для скачивания. Вот, например, страничка с темой форума, на которой выложены фотографии:

Ссылки на эскизы имеют вид:
http://img171.imageshack.us/img171/8768/1947circuitodipiacenzafsy8.th.jpg
http://img171.imageshack.us/img171/8237/1947circuitodipiacenzafxm4.th.jpg
http://img171.imageshack.us/img171/6987/1947circuitodipiacenzafrh1.th.jpg
http://img171.imageshack.us/img171/6151/1947circuitodipiacenzafps0.th.jpg
http://img171.imageshack.us/img171/3981/1947circuitodipiacenzafhr7.th.jpg
Поскольку по английски эскизы называются thumbnails, и в ссылках используются различные производные от этого слова (а также схожие по смыслу слова типа small, resized и т.п.), то неудивительно, что ссылка на фотографию отличается от ссылки на эскиз только отсутствием сочетания ".th". Убираем его и получаем:
http://img171.imageshack.us/img171/8768/1947circuitodipiacenzafsy8.jpg
http://img171.imageshack.us/img171/8237/1947circuitodipiacenzafxm4.jpg
http://img171.imageshack.us/img171/6987/1947circuitodipiacenzafrh1.jpg
http://img171.imageshack.us/img171/6151/1947circuitodipiacenzafps0.jpg
http://img171.imageshack.us/img171/3981/1947circuitodipiacenzafhr7.jpg
Это уже - прямые ссылки на фотографии.
Записан
Если кто-то чего-то не может, не умеет или не понимает, он доказывает, что это никому не нужно и даже вредно.

Оффлайн Владимир Коваленко

  • Администратор
  • Опытный участник
  • *****
  • Сообщений: 22 592
  • Карма 2118
    • Просмотр профиля
    • История автоспорта
Re: Составление списков ссылок
« Ответ #4 : Февраля 11, 2008, 13:39:50 »
Записан
Если кто-то чего-то не может, не умеет или не понимает, он доказывает, что это никому не нужно и даже вредно.

Оффлайн Владимир Коваленко

  • Администратор
  • Опытный участник
  • *****
  • Сообщений: 22 592
  • Карма 2118
    • Просмотр профиля
    • История автоспорта
Re: Составление списков ссылок
« Ответ #5 : Февраля 11, 2008, 13:40:04 »
Записан
Если кто-то чего-то не может, не умеет или не понимает, он доказывает, что это никому не нужно и даже вредно.

Оффлайн Владимир Коваленко

  • Администратор
  • Опытный участник
  • *****
  • Сообщений: 22 592
  • Карма 2118
    • Просмотр профиля
    • История автоспорта
Re: Составление списков ссылок
« Ответ #6 : Декабря 08, 2008, 21:39:29 »
У сайта "Автоспорт-ком" (http://www.autosport.com) - своя специфика.
Во-первых, ссылки на фотографии даются без расширений. Во-вторых, фотографии альбомного формата предлагаются двух размеров, а книжного - одного. Если ткнуть правой кнопкой мыши на странице с фотогалереей и выбрать пункт "Закачать всё с помощью FlashGet", то откроется список, в котором сначала будут все вместе ссылки на эскизы вида:
http://www.autosport.com/gallery/photo-large.php/dir/2007novtest1/image/_H0Y8160-1.
Дальше пойдёт список ссылок на полноразмерные фотографии, причём, если кадр альбомного формата, будут подряд указаны две ссылки:
http://www.autosport.com/gallery/photo-large.php/dir/2007novtest1/image/_H0Y8160-3
http://www.autosport.com/gallery/photo-large.php/dir/2007novtest1/image/_H0Y8160-4
А если - книжного, то будет только ссылка с троечкой.
Поэтому, когда в окне "Флэш-гета" открывается такой список, я вручную выжеляю каждую ссылку. Если подряд идут две одинаковые ссылки, но с троечкой и четвёрочкой на конце, то я выделяю четвёрочку как более крупный файл. Если есть только одна ссылка - и она будет с троечкой - то её и выделяю. Выделенное копирую и вставляю в текстовый файлик, потому что это ещё не всё, ибо эти ссылки - не на сами картинки, а на содержащие их страницы. Теперь в текстовом редакторе надо заменить http://www.autosport.com/gallery/photo-large.php/dir/ на http://gallery.autosport.com/picture.php/dir/. После этого ссылки готовы.
Есть ещё несколько тонкостей, но их расписывать не буду. Вот для примера файл со ссылками этого года:
autosport.com.rar (http://disk.tom.ru/6sveywp).
Записан
Если кто-то чего-то не может, не умеет или не понимает, он доказывает, что это никому не нужно и даже вредно.

Оффлайн Владимир Коваленко

  • Администратор
  • Опытный участник
  • *****
  • Сообщений: 22 592
  • Карма 2118
    • Просмотр профиля
    • История автоспорта
Re: Составление списков ссылок
« Ответ #7 : Декабря 19, 2008, 11:50:46 »
Сайт http://flickr.com/ характерен тем, что переименовывает сохранённые на нём фотографии, но эта проблема довольно легко решается несколько нетрадиционным способом. Возьмём коллекцию некоего Тони Фоша: http://flickr.com/photos/antsphoto/sets/. Выберем в неё галерею European Touring Car Championship. Tourist Trophy Silverstone 1986.
Вот ссылки на эскиз первой фотографии и её полноразмерный вариант соответственно:
http://farm4.static.flickr.com/3192/2955722730_54aaedb508_s.jpg
http://farm4.static.flickr.com/3192/2955722730_54aaedb508_b.jpg
То есть разница - только в последней букве. Отлично! Значит, можно составить список ссылок на эскизы и элементарно заменить в них одну буковку. Но жаль только, что имя файла будет такое "неговорящее".
Но можно заметить, что если навести курсор на эскиз в галерее, появится всплывающая надпись, например, для вышеуказанной фотографии: European Touring Car Championship ETCC 1986 Tourist Trophy Silverstone. Логичнее всего было бы именно её сделать именем файла.
Во "Флэш-гете" есть замечательная функция: переименование скачиваемого файла в сопровождающую его подпись. Например, в рассматриваемой галерее делаем правый клик, выбираем в меню "Закачать всё при помощи FlashGet", появляется окно:

Справа - колонка со ссылками, слева - сопровождающие их подписи. Если выделить нужные файлы и сохранить их в списке с указанием "Скачивать вручную", чтобы они не начали скачиваться сразу, можно воспользоваться такой возможностью, как пакетное их переименование.
Выделяем нужные файлы, затем: меню "Manage" -> "Переименовать" - > "Имя файла как описание".

Результат выглядит так:

То что надо. Но если составлять список ссылок на эскизы и затем менять последние буковки в текстовом редакторе, подписи к файлам не сохранятся, потому что там будут чистые ссылки. Значит, надо каким-то образом воспользоваться ссылками с подписями в ХТМЛ-коде и уже там менять буковки. Оказывается, для этого сайта это - проще простого. В ИЭ правым кликом в меню выбираем "Просмотр HTML-кода". Открывается текстовый файлик:

Блок со ссылками находится в самом начале третьей трети файла, и я просто удаляю весь текст с команды "head" до начала нужного блока и после этого блока до команды "/body". Командой "Ctrl + H" вызываю окно замены и меняю "_s.jpg" на "_b.jpg". Сохраняю файл с именем галереи и расширением ".html".
Результат: European Touring Car Championship. Tourist Trophy Silverstone 1986.html.
Этот файл можно открыть и либо дождаться, когда все фотографии в исходном размере загрузятся на этой страничке, либо загрузить ссылки во "Флэш-гет" вышеописанным способом с дальнейшим переименованием.
Вот все подобные файлики для галерей Фоша: antsphoto.rar.
Записан
Если кто-то чего-то не может, не умеет или не понимает, он доказывает, что это никому не нужно и даже вредно.

Оффлайн Владимир Коваленко

  • Администратор
  • Опытный участник
  • *****
  • Сообщений: 22 592
  • Карма 2118
    • Просмотр профиля
    • История автоспорта
Re: Составление списков ссылок
« Ответ #8 : Августа 21, 2013, 09:40:31 »
На работе пришлось удалить нелицензионный "Флэш-гет". Кто-нибудь знает другую программу, способную показывать все ссылки на интернет-странице?
Записан
Если кто-то чего-то не может, не умеет или не понимает, он доказывает, что это никому не нужно и даже вредно.

Оффлайн Роман Сусаков

  • Коллекционер
  • Опытный участник
  • ***
  • Сообщений: 2 138
  • Карма 3417
    • Просмотр профиля
Re: Составление списков ссылок
« Ответ #9 : Августа 21, 2013, 10:25:29 »
Цитата: Владимир Коваленко от Августа 21, 2013, 09:40:31
На работе пришлось удалить нелицензионный "Флэш-гет". Кто-нибудь знает другую программу, способную показывать все ссылки на интернет-странице?
Сейчас FlashGet бесплатен (версия 3.7 здесь). Проблем с лицензией больше нет. Функционал, правда, не проверял...
« Последнее редактирование: Августа 21, 2013, 10:36:56 от Роман Сусаков »
Записан

Оффлайн Владимир Коваленко

  • Администратор
  • Опытный участник
  • *****
  • Сообщений: 22 592
  • Карма 2118
    • Просмотр профиля
    • История автоспорта
Re: Составление списков ссылок
« Ответ #10 : Мая 19, 2016, 01:24:09 »

Цитата: Владимир Коваленко от Мая 14, 2016, 19:52:28

Раньше я это делал очень просто. Смотрим ссылку на картинку:

http://img.phombo.com/img1/photocombo/5209/cache/prewar-racing-436.jpg_1920_beverly_hills_250_-_jimmy_murphy_lyall_jolls_duesenberg_1st_fred_duesenberg_beside_car_display.jpg

Открываем весь альбом: http://www.phombo.com/cars-vehicles/prewar-racing/page-1/.

Смотрим ссылку на эскиз этой картинки:

http://img.phombo.com/img1/photocombo/5209/cache/prewar-racing-436.jpg_1920_beverly_hills_250_-_jimmy_murphy_lyall_jolls_duesenberg_1st_fred_duesenberg_beside_car_forum_thumbnail.jpg

Отличаются только тем, что у большой на конце - "_display.jpg", у маленькой - "_forum_thumbnail.jpg".

Список ссылок я делал программой "Флэш-гет" (FlashGet), но уже много лет ей не пользуюсь. Как-то вот что-то случилось. То ли в новой версии что-то стало по-другому, то ли ещё почему, но перестал пользоваться. Она встраивает контекстное меню в браузер, и по ПКМ можно выбрать "Скачать всё при помощи FlashGet". Появится список ссылок, надо выделить нужные и скопировать их. Потом в любом текстовом редакторе заменить одну концовку на другую, скопировать все ссылки в буфер, и "Флэш-гет" сам предложит их скачать. Раньше получалось, сейчас надо экспериментировать.

Вот ещё на эту тему: http://motorsporthistory.ru/forum/index.php/topic,730.0.html.

Ага, там написано, что на работе пришлось удалить "Флэш-гет". Правда, занимаюсь я этими делами дома, ну да ладно.


Всё работает. Просто появились новые версии "Флэш-гета", которые действуют по-другому, поэтому надо было установить ту, с которой всё получалось.

Версия 1.96: https://cloud.mail.ru/public/LZwq/D38RSgfhA.

Она, правда, встраивается только в "Эксплорер", а я сам пользуюсь преимущественно "Хромом", так что для скачивания фотографий приходится менять браузер, но, в целом, эта методика значительно упрощает сохранение фотографий из многих источников.
Записан
Если кто-то чего-то не может, не умеет или не понимает, он доказывает, что это никому не нужно и даже вредно.

Оффлайн Владимир Коваленко

  • Администратор
  • Опытный участник
  • *****
  • Сообщений: 22 592
  • Карма 2118
    • Просмотр профиля
    • История автоспорта
Re: Составление списков ссылок
« Ответ #11 : Июля 23, 2016, 05:42:41 »
Как составить список ссылок для скачивания журнала "Моторспорт".

Заходим в список номеров за нужный год, например, 1989: http://www.motorsportmagazine.com/archive/issues/1989.

Выбираем номер, например, за декабрь: http://www.motorsportmagazine.com/archive/issue/december-1989.

Проматываем ленту страниц до последней и нажимаем на неё. Ниже справа надо нажать на "click to zoom". В "Хроме" - ПКМ, "Копировать URL картинки": http://media.motorsportmagazine.com/archive/december-1989/full/116.jpg.

В первую ячейку вносим "http://media.motorsportmagazine.com/archive/december-1989/full/", во вторую - 1, в третью - ".jpg".

Выделяем все три ячейки и "тянем" вниз, пока во втором столбце не достигнем 116. Не сбрасывая выделение, всё копируем и переносим в текстовый редактор, например, "Блокнот". Там надо вызвать замену (Ctrl + H) и знаки табуляции заменить на "ничего".

Список ссылок готов.
Записан
Если кто-то чего-то не может, не умеет или не понимает, он доказывает, что это никому не нужно и даже вредно.

Оффлайн Владимир Коваленко

  • Администратор
  • Опытный участник
  • *****
  • Сообщений: 22 592
  • Карма 2118
    • Просмотр профиля
    • История автоспорта
Re: Составление списков ссылок
« Ответ #12 : Июля 23, 2016, 19:58:45 »
Если доводить схему до совершенства дальше, то в текстовом редакторе надо сделать список ссылок страниц на 200, чтобы гарантированно с запасом. Затем во всём списке менять через Ctrl+H месяцы и выбирать нужно количество страниц.

У файлов номера будут одинаковыми (1.jpg, 2.jpgи т.д.), что очень неудобно. Сохраняем каждый номер в отдельную папку, а потом надо будет поработать несколько минут переименовалкой.

В общем, методика довольно простая, и даже не сильно затратная с точки зрения времени, просто лично я всё-таки предпочёл бы заниматься только творчеством, но приходится больше времени тратить на технические работы по поддержанию и развитию архива.
Записан
Если кто-то чего-то не может, не умеет или не понимает, он доказывает, что это никому не нужно и даже вредно.

Оффлайн Владимир Коваленко

  • Администратор
  • Опытный участник
  • *****
  • Сообщений: 22 592
  • Карма 2118
    • Просмотр профиля
    • История автоспорта
Re: Составление списков ссылок
« Ответ #13 : Июля 24, 2016, 05:23:26 »
В случае с "Моторспортом" всё оказалось гораздо проще. Совсем стал я забывать все приёмы и хитрости. Надо установить "Флэш-гет", зайти на страницу с номером, ПКМ, "Скачать всё при помощи FlashGet", скопировать возникшие в окне ссылки, вставить их в текстовый редактор и "180px" заменить на "full". Всё, полный список для данного номера готов!
Записан
Если кто-то чего-то не может, не умеет или не понимает, он доказывает, что это никому не нужно и даже вредно.

Оффлайн Александр Готвянский

  • Опытный участник
  • **
  • Сообщений: 439
  • Карма 34
    • Просмотр профиля
Re: Составление списков ссылок
« Ответ #14 : Июля 25, 2016, 03:42:28 »
Для пакетной замены текста еще удобно использовать редактор SublimeText. Он позволяет делать мультиредактирование
https://youtu.be/czQipWJA8EU?t=72
Записан

Оффлайн Владимир Коваленко

  • Администратор
  • Опытный участник
  • *****
  • Сообщений: 22 592
  • Карма 2118
    • Просмотр профиля
    • История автоспорта
Re: Составление списков ссылок
« Ответ #15 : Июля 25, 2016, 05:24:52 »
Глянул, с ходу ничего не понял.
Записан
Если кто-то чего-то не может, не умеет или не понимает, он доказывает, что это никому не нужно и даже вредно.

Оффлайн Александр Готвянский

  • Опытный участник
  • **
  • Сообщений: 439
  • Карма 34
    • Просмотр профиля
Re: Составление списков ссылок
« Ответ #16 : Июля 26, 2016, 10:18:03 »
Цитата: Владимир Коваленко от Июля 25, 2016, 05:24:52
Глянул, с ходу ничего не понял.
В этом редакторе удобно работать со списками.
Если выделить фрагмент, повторяющийся в тексте и нажать Alt+F3, то выделятся все его вхождения и потом можно наглядно его редактировать сразу во всех строчках вместо поиска с автозаменой.
Например так:
http://screencast.com/t/rwXIV83itCa
Записан

Оффлайн Владимир Коваленко

  • Администратор
  • Опытный участник
  • *****
  • Сообщений: 22 592
  • Карма 2118
    • Просмотр профиля
    • История автоспорта
Re: Составление списков ссылок
« Ответ #17 : Июля 26, 2016, 10:38:11 »
Так понятно. Попробую как-нибудь поработать в этом редакторе. А что он ещё может нестандартного?
Записан
Если кто-то чего-то не может, не умеет или не понимает, он доказывает, что это никому не нужно и даже вредно.

Оффлайн Александр Готвянский

  • Опытный участник
  • **
  • Сообщений: 439
  • Карма 34
    • Просмотр профиля
Re: Составление списков ссылок
« Ответ #18 : Июля 26, 2016, 13:20:20 »
Цитата: Владимир Коваленко от Июля 26, 2016, 10:38:11
Так понятно. Попробую как-нибудь поработать в этом редакторе. А что он ещё может нестандартного?
Ну он изначально под веб-разработку заточен. Это основной инструмент современных фронт-эндщиков. К нему еще и плагинов немерено. Так что каждый ему находит своё применение.
https://www.youtube.com/watch?v=6zeDcW7doqY
Записан
Страницы: [1]   Вверх
« предыдущая тема следующая тема »