Инструменты. Автоматические скачиватели

[Владимир Коваленко]

Какие есть скачиватели сайтов (с задаваемой глубиной проникновения), кто-нибудь может сообщить своего рода обзор? Есть ли в них функция сохранения задания? То есть, скажем, я посмотрел сайт, сделал настройки, сохранил их в задание, а потом переправил файлик этого задания человеку, который смог бы этот сайт скачать, не заморачиваясь самостоятельным выставлением настроек? Просто есть люди с безлимитным интернетом, у которых просто нет времени и желания возиться с этими настройками, но они готовы качать, если это отнимает минимум времени.
Помогите советом, пожалуйста.

[Алексей Колбасин]

Universal Share Downloader v1.3.3
 
Эту программу можно так же назвать RapidShare downloader, MyTempDir downloader и прочими словами. А по-русски - это универсальная качалка с сайтов, которые позволяют класть на себя файлы. Не секрет, что часть этих сайтов дают качать только 1 потоком, и 1 файл за раз. Плюс часть еще есть пауза в час/два перед скачкой следующего файла. Помнить что скачал, что нет - сложно. И по часам выгадывать когда можно качать, а когда нет. Для тех, кто хочет просто забить ссылки, оставить компьютер и быть уверенным что программа вовремя все скачает, и ни минуты не пройдет зря и написана эта программа.

 
http://www.dimonius.ru/
 

[Владимир Коваленко]

Спасибо. Насколько я понял, это специализированная программа для сайтов типа "Рапида", и это хорошо. Сайты целиком она качать не может.

[Владимир Коваленко]

Я встретил упоминания следующих программ:
WebCopier Pro
Offline Explorer Pro
Teleport
Расскажите, пожалуйста, свои впечатления от их использования.

[Константин Павленко]

Я использовал только Teleport Pro. Она создает проект закачки (файл с расширением .tpp),  который можно, я так понимаю, отправить в архиве по e-mail и любой с такой же программой Teleport Pro сможет закачивать сайт.
В настройках указываются типы файлов, которые следует сохранять. Можно указать, что нужно скачивать все файлы (однако проблемы возникали со скачиванием видео и звуковых файлов - мне приходилось их докачивать вручную). Указывается количество уровней от первоначальной ссылки, подлежащих сохранению, а также количество уровней, выходящих за рамки сайта, которые нужно скачать (но использование последней опции не имеет смысла, так как скачивается, как правило, только реклама и другая всячина).
Если какие-то ссылки остались несохраненными, то можно их докачать. Можно проверять сайт на наличие обновлений и докачивать только новые или измененные файлы.
Проблемы возникают с сайтами, где фотографии имеют одинаковое имя: если они расположены в одной директории, то фото с таким же именем просто записывается вместо предыдущей. Кроме этого, я не нашел способ скачивать ссылки, расположенные в виде разворачивающегося списка.

[Владимир Коваленко]

Вот я нашёл дистрибутив "Телепорта" и собираюсь попробовать.

[Andy]

Неприятность Телепорта лишь в том, что сейчас многие сайты, использующие генерацию страниц (php), ему не поддадутся. Думаю, что не только ему даже.

[Владимир Коваленко]

А вот это хреново. А какие сайты оказываются неподходящими? Я имею ввиду не конкретные ссылки, а по типу структуры.

[Алексей Каракай]

Добрый день!
Примерно полтора года назад активно пользовался программой Телепорт. Не вспомню каких то ее характеристик и особенностей пользоная, но никаких проблем с ней не возникало - достаточно удобная штука.
Успешно были закачены следующие ресурсы:
http://stat.f1news.ru/
http://www.grandprix.com/gpemain.html
http://www.gpracing.net192.com/
с тех пор эти ресурсы не обновлял, ибо не было необходимости.Алексей Каракай38794,6138425926

[Константин Павленко]

Неприятность Телепорта лишь в том, что сейчас многие сайты, использующие генерацию страниц (php), ему не поддадутся. Думаю, что не только ему даже.

С подобной проблемой я не встречался. У меня все сохранялось.

[Владимир Коваленко]

Значит, есть надежда.
Я иногда проявляю чудеса наивности. По какой-то причине мне казалось немыслимым, что в скачивателях можно создавать и сохранять проекты закачек. Оказалось, что даже в простом "Флэш-гете" это вполне нормальная опция.

[Владимир Коваленко]

Попробовал поковыряться в "Телепорте". Вот, допустим, я хочу автоматом скачать фотографии, находящиеся по следующим ссылкам:
http://img92.echo.cx/my.php?image=surer8vp.jpg
http://img116.echo.cx/my.php?image=toleman20tg183b20208320belgium.jpg
http://img160.echo.cx/my.php?image=45663wu.jpg
http://img127.echo.cx/my.php?image=5543ep.jpg
http://img133.echo.cx/my.php?image=03707mn.jpg
http://img92.echo.cx/my.php?image=pg9100198ti.jpg
http://img247.echo.cx/my.php?image=03504su.jpg
http://img266.echo.cx/my.php?image=diapo1322te.jpg
http://img140.echo.cx/my.php?image=01206wm.jpg
http://img283.echo.cx/my.php?image=x169dm.jpg
http://img102.echo.cx/my.php?image=0226qo.jpg
http://img137.echo.cx/my.php?image=diapo1256cy.jpg
http://img137.echo.cx/my.php?image=diapo1269ey.jpg
Это не прямые ссылки на картинки, а странички с фотографиями. "Флэш-гет" сохранит только странички. "Телепорт" может сохранить всё полностью.
Я вхожу в "Свойства стартового адреса" и ввожу ссылку в строку "URL": http://f1.pluto.net.ru/forum_posts.asp?TID=299&PN=1. Затем выставляю "Исследовать страницы на 1 ссылки в глубину от этого URL". И в "...только" выбираю последний пункт и ставлю в нём "не более чем 2 links away from any page on f1.pluto.net.ru".
Как вообще считается фотография на любой страничке, сколько это считается ссылок в глубину? За ссылки считаются только именно ссыоки? А фотографии на данной страничке за ссылки не считаются? Тогда можно давать адрес этой темы, задавать 1 ссылку в глубину и типы сохраняемых файлов (графические), и всё будет нормально?

[Владимир Коваленко]

[Алексей Колбасин]

 
Я пользуюсь программой Offline Explorer. Проекты в отдельных файлах запоминать в ней нельзя, всё хранится в единой базе.
Фотографии на странице не являются ссылками. Ссылками считаются только именно ссылки.

[Владимир Коваленко]

Вопрос. Если объём скаченных файлов одного сайта приближается к пределу свободного места на винчестере, можно ли записать эти файлы на болванку и удалить их с винта, чтобы качался не начала качать эти файлы заново? То есть смотрит ли она на наличие конкретных файлов на диске либо отрабаотывает по схеме и запоминает, какие файлы уже были скачаны, а какие - нет?

[Владимир]

 Не эксперт, но думаю, что если Вы удалите файлы с жесткого диска, а затем запустите "качалку", то она будет заново проверять наличие файлов в заданной папке, и в случае их отсутствия, будет опять заново их закачивать.
По крайней мере мне известно точно, что даже если у Вас часть сайта уже скачена, то все равно при новом запуске программы-"качалки", она будет проверять весь список заново на наличие файлов. Это, пожалуй самый большой минус таких программ, т.к. на на эту проверку тратится много времени, даже если у Вас скоростной канал (а такие пока не у многих имеются).
Хотя сейчас, может быть, существуют программы, в настройках которых можно задать параметры "Не проверять на обновление страниц" и что-то типа "Начинать закачку с последнего сохраненного файла", но такие мне неизвестны.
Поэтому при "закачке" сайтов, по необходимости, я стараюсь делать так, чтобы  он скачивался за один раз. Но для больших сайтов это нереально, по-видимому.
 gp238845,7867476852

[Александр Готвянский]

Поделюсь опытом (хе-хе).
При закачке с Motorsport.com я давал задание FlashGet качать по заданому диапазону имен. Через 50 закачанных фото их админы сканировали мои порты и перекрывали доступ. Вот гады

[Владимир Коваленко]

Это мы уже знаем, только качать пробовали новости.

[Andy]

Вот еще новая программка, сам я еще не пробовал
 Website Extractor v9.50 Retail Как переписать на диск целый вебсайт или один из его разделов? Наверное, каждый когда-нибудь сталкивался с подобной проблемой. Это можно сделать с помощью Internet Explorer, переписывая по одной страничке. А если вебсайт содержит, например, 1000 страниц - вам придется 1000 раз кликнуть мышкой, выбрав 1000 раз директорию для сохранения файла.Русский язык в инсталяторе.
Есть другой способ - применение новой версии программы Web Site Extractor. В этой программе достаточно просто ввести адрес вебсайта, и дальше вы можете не беспокоиться об его загрузке. Через некоторое время программа перепишет содержимое всего вебсайта или той его части, которая вам необходима. Программа Web Site Extractor создана для высокоскоростной загрузки веб-сайтов Интернета в соответствии с заданными вами условиями и ограничениями. Например, вы можете установить фильтры на названия директорий, имена доменов и файлов, типы загружаемых файлов и их размеры, другие свойства.
Программа может скачивать одновременно до 100 файлов, что существенно ускоряет загрузку информации по сравнению с обычными браузерами. Результат поиска сохраняется в указанную вами директорию и содержит только те файлы и директории, которые соответствуют параметрам наложенного фильтра.
Web Site Extractor позволяет повторно, автоматически скачивать те файлы, которые были изменены или не были переписаны в результате ошибок передачи и разрыва соединений.
Вы также можете импортировать/'экспортировать списки адресов вебстраниц (URL) из текстовых и html файлов.
Программа (648 кб)

[Владимир Коваленко]

Можно попробовать. Я сейчас получил уже небольшой опыт, так что могу сравнивать. Спасибо за информацию.

[Владимир Коваленко]

Итак, могу поделить новым опытом в данном вопросе.
Во-первых, насчёт программ. Все программы можно разделить на два вида: загрузчики, которые скачивают файлы по прямым ссылкам, и скачиватели, которые позволяют скачивать связанные тем или иным способом друг с другом файлы или сайты целиком.
Из загрузчиков я испольую только "Флэш-гет", и особых проблем с ним не испытываю. Мне нравится то, что если просто скопировать тестовый список, он автоматически экспортируется во "Флэш-гет", и надо только указать настройки. В общем, с этой программой вопросов пока нет.
Со скачивателями - проблемы. Там так много настроек, что сложно в них разобраться. Более того, у меня есть подозрение, что одни и те же настройки в разных скачивателях называются по-разному. Не могу разобраться с фильтрами.
Самый простой случай у меня для скачивателя - это страничка на форуме со списком ссылок "Имадж-шака". Я так понимаю, мне нужны такие настройки, чтобы было проникновение на 1 уровень, и сохранялись только файлы изображений с сервера, в адресе которого будет слово imageshack. В идеальном случае далжны сохраниться только нужные картинки и часть мелких посторонних типа баннеров. Но добиться этого не удаётся.
Я поставил четыре программы, из которых две позже удалил, названия которых даже не запомнил. Оставил только "Телепорт", с которым уже был некоторый опыт работы, и "Оффлайн эксплорер", который нередко хвалят.
Во-вторых, насчёт ограничения по скачиванию с "Моторспорт-ком". Начал скачивать новости по спискам заголовков, которые по подписке приходят каждый день, и ограничений не было! За раз скачивал сотни файлов. Не знаю насчёт фотографий, а новости качаются без проблем. Но раньше и новости качались с ограничениями.

[Юрий Карасёв]

Я поставил четыре программы, из которых две позже удалил, названия которых даже не запомнил. Оставил только "Телепорт", с которым уже был некоторый опыт работы, и "Оффлайн эксплорер", который нередко хвалят.

Насчет последнего могу сказать, что программа отличная. Пользуюсь ей уже 4 года и никаких вопросов не возникает.

Самый простой случай у меня для скачивателя - это страничка на форуме со списком ссылок "Имадж-шака". Я так понимаю, мне нужны такие настройки, чтобы было проникновение на 1 уровень, и сохранялись только файлы изображений с сервера, в адресе которого будет слово imageshack. В идеальном случае далжны сохраниться только нужные картинки и часть мелких посторонних типа баннеров. Но добиться этого не удаётся.

Сегодня почитал Справку к Оффлайн Эксплорер и сделал шаблон, который скачивает только картинки и все. Опробовал на Ссылки для скачивания - разовые проекты. Все получилось[/font].[/font][/font] Без всяких баннеров и прочей ерунды. Сегодня вечером попробую выложить шаблон и сам архив.

[Владимир Коваленко]

Спасибо огромное! Если не сложно, объясни, пожалуйста, принцип.
Просто обычно нет смысла человеку тратить время на поиски, если кто-то уже разобрался и может доступно объяснить.

[Юрий Карасёв]

Попробую, конечно, но опять же только вечером.
Еще могу выложить Справку на русском языке к "Оффлайн Эксплорер" если надо.
 

[Юрий Карасёв]

По этой ссылке лежит справка к "Оффлайн Эксплорер"(ОЭ) на русском языке и файл шаблона для скачивания картинок с Ишака.
disk.tom.ru/502744?pw=7J3DnfQM
Файл шаблона надо поместить в следующую папку: C:\Documents and Settings\Твой логин в Винде\Application Data\Offline Explorer\. На вопрос о замене текущего файла ответить утвердительно.
ACHTUNG. Перед этим создай копию того файла Template.dat который у тебя там есть сейчас. На всякий случай. ACHTUNG[size=0]. [/size]
Если папку Application Data не видишь, значит Проводник не показывает скрытые и системные файлы и папки. Тогда в Проводнике заходишь в меню Сервис -> Свойства папки. На закладке "Вид" ставишь соответствующую галочку (флажок).
После того как файл будет заменен запускай ОЭ. В меню Файл выбираешь "Шаблоны...". Там в конце списка должен быть шаблон с названием "Imageshack Страница целиком". Выдели его и нажми на "Свойства...".
Уровень=2. Т.к. Первый уровень - это сама страница форума, а второй это уже страница Ишака с картинкой.
Слева в Окне "Категория" следующие настройки.
Типы файлов. Текст=php т.к. скрипт страницы Ишака с картинкой написан на php. Изображения=bmp, jpg, gif, png, tiff. Основные графические форматы в которых размещают картинки на Ишаке. Минимум размер картинки = 6kb. Чтобы не закачивались thumbnails и прочий мелкий мусор. И в Тексте и в Изображениях стоит "Загружать согласно фильтрам URL". Обрати внимание, позже расскажу.
Фильтры URL. Протокол, Сервер и Каталог оставляем по умолчанию. Имя файла=Произвольная конфигурация. Маска включения имен файлов:
http://img*.imageshack.us/my.php?image=*.*
Чтобы попала в список закачки, например, вот эта ссылка http://img295.imageshack.us/my.php?image=0078uu.jpg
http://img*.imageshack.us/img*/*/*.*
Чтобы закачалась сама картинка по пред. ссылке, фактический адрес которой: http://img295.imageshack.us/img295/64/0078uu.jpg
http://img*.echo.cx/my.php?image=*.*
Чтобы попала в список закачки, например, вот эта ссылка http://img136.echo.cx/my.php?image=2600fg.jpg
http://img*.echo.cx/img*/*/*.*
Чтобы закачалась сама картинка по пред. ссылке, фактический адрес которой: http://img136.echo.cx/img136/902/2600fg.jpg, а после переадресации получится такой http://img136.imageshack.us/img136/902/2600fg.jpg.
Следующие маски аналогично предыдущим.
http://img*.exs.cx/my.php?loc=img=*&image=*.*
http://img*.exs.cx/img*/*/*.*
Маска исключения имен файлов = http://img*.imageshack.us/img/imgad.png.
Сюда эта ссылка попала потому что это рекламный баннер, который весит ~60kb.
Все остальные пункты оставил как есть.
Чтобы закачать например страницу форума с ссылками на картинки на Ишак. Щелкаешь правой кнопкой на странице. Выбираешь "+ Offline explorer: Download the current page". Затем в самом ОЭ появится проект закачки. Щелкаешь на нем также правой кнопкой, выбираешь "Применить шаблон..." и выбираешь из списка наш: "Imageshack Страница целиком".
Вот собственно и все. Читай справку, она удобно и понятно написана. Будут вопросы задавай.

[Владимир Коваленко]

Огромное спасибо! Пока не добрался до изучения, но обязательно доберусь.

[Александр Готвянский]

хотелось бы и на imagevenue похожую инструкцию.

[Юрий Карасёв]

Вот тебе шаблон по Imagevenue.
disk.tom.ru/588191?pw=YBwRVFyu.
А вот справка к "ОЭ" на русском языке: disk.tom.ru/588196?pw=KyDz72Xh.
Полный аналог шаблону по Imageshack. Делай также как и там написано. Если будут вопросы, задавай.

[Владимир Коваленко]

Юра, я поразбирался с ОЭ по твоим объяснениям, и это мне помогло. Пока не разобрался с фильтрами, но факт: картинки благополучно скачиваются.
Хочу сообщить, что некоторое время назад я скачал и установил версию 1.88 "Флэш-гета", а сейчас на официальном сайте доступна версия 1.9.0: http://down6.flashget.com/flashget190en.exe.
В этой версии появилась замечательная особенность: при выборе пункта всплывающего меню "Закачать всё при помощи "Флэш-гет"" в создаваемом списке есть ссылки не только на открываемые картинки, но и на загружаемые со страницей. В частности, на эскизы картинок. Это очень помогает для составления списков ссылок на оригиналы картинок, потому что эскизы, как правило, несут такое же имя, но с каким-нибудь дополнением типа "thumb", либо что-то подобное есть в пути к файлу. Достаточно собирать все ссылки в "Блокнот" и затем быстро производить замены - и списки готовы.

[Владимир Коваленко]

В шаблоне, возможно, ошибка, потому что не качаются файлы типа [http://img*.exs.cx/my.php?loc=img=*&image=*.*], так как после img на самом деле знака равенства нет. Я заменил этот фильтр на [http://img*.exs.cx/my.php?loc=img*&image=*.*], но ничего вроде бы не изменилось. Возможно, я не нажал чего-нибудь, чтобы новые настройки вступили в действие.

[Юрий Карасёв]

Насчет ошибки, ты прав. Видно не заметил. Чтобы настройки применить надо открыть свойства этого шаблона через меню Файл -- Шаблоны... В свойствах шаблона заходишь в подменю Имя файла меню Фильтры URL, находишь искомую строку, нажимаешь F2, меняешь текст, Enter, Применить. И в принципе все.
Если хочешь выложи ссылку на картинку, попробуем разобраться, почему не качается.

[Владимир Коваленко]

В теме Ссылки для скачивания - разовые проекты я выложил все проблемные ссылки, которые не качаются ОЭ. Посмотри, пожалуйста.

[Юрий Карасёв]

Скачал около половины списка.
Остальные просто уже удалены.
http://disk.tom.ru/af3pegs

[Владимир Коваленко]

А как ты настраивал?

[Юрий Карасёв]

Да я и не настраивал ничего.
Просто запустил и скачал.
А настройки те же что и были описаны выше.

[Алексей Грушко]

Очень удобная программа - WinHTTrack Website Copier. У меня версия 3.14-2. Очень удобная программка для скачивания сайтов. В фильтрах можно проставить все типы файлов, которые тебе нужны. Сайт выкачивается полностью с сохранением структуры. Если файл регулярно обновляется - можно оставит логи программы в папке с выкачанным сайтом, и при каждом новом запуске будут выкачиваться только апдейты. Есть два но:
1. Если интернет медленный или обрывается программа неадекватно (не все) сохраняет. Проблема устраняется гонянием одного и того же сайта 4-5 раз.
2. Ссылки из всплывающих явовских окошек не определяются.

[Владимир Коваленко]

Не знаю, относится ли это непосредственно к "Флэш-гету", или это проблема связи с сайтом, но я столкнулся с тем, что с некоторых пор файлы с "Моторспорт-ком" качаются только до определённой поры, а потом скачивание подвисает. То есть соединение остаётся, а получения информации не происходит.
Раньше, помнится, сайт позволял сделать не более определённого количества скачиваний. То есть можно было скачать, например, 100 файлов, а затем доступ перекрывался. Но это было до того, как я сам стал качать фотографии с сайта, а у меня проблем не возникало. Теперь вот такая возникла. Причём, я не заметил каких-либо закономерностей ни по количеству скачанных файлов, ни по периоду доступа. После перезагрузки всё снова восстанавливается. Может, у меня используется что-то типа динамического айпишника?
Попробуйте, пожалуйста, кто-нибудь покачать фотографии. Будет ли у вас такая же проблема?
Может быть, что-то в настройках моего компьютера не так?
Если понадобится, я могу предоставить готовый список ссылок для экспериментов.

[Владимир Коваленко]

Периодически возникает проблема, когда "Эксплорер" подвисает и слетает, что сопровождается сообщением:

Точно такое же окошко мелькает во время закрытия системы при перезагрузке.
Я подозреваю, что это может иметь отношение к вышеописанной проблеме. То есть при скачивании файлов "Флэш-гетом" в определённый момент соединение подвисает, и происходит процесс, сопровождаемый вышеуказанным сообщением, но оно почему-то не демонстрируется явно, а возникает как-то скрытно. Может быть, можно завершить этот процесс в диспетчере задач, и соединение восстановится?

[Владимир Коваленко]

Поставил программку Universal Share Downloader для скачивания с "Рапидшэра". Очень доволен. Загрузил список и забыл про него. Всё делается само собой.