История автоспорта

Форум истории автоспорта => Исследовательская лаборатория => Тема начата: Владимир Коваленко от Марта 13, 2010, 12:58:45

Название: Сохранение фотографий
Отправлено: Владимир Коваленко от Марта 13, 2010, 12:58:45
Инструкция по сохранению фотографий с "И-бэя".
В теме  публикуются ссылки на страницы лотов аукциона. Живут они ещё некоторое время после завершения торгов, поэтому надо успевать. Обычно к каждой фотографии прикладывается описание, они бывают очень разнообразными, поэтому зайдём с другой стороны. Что нужно, чтобы было в названии сохраняемой картинки?
1. Обязательно год. Точную дату не обязательно, если это широко известное соревнование. Если в описании дата есть, и соревнование малоизвестное, дату лучше сохранить. Год обязательно должен быть в полном формате, то есть 1968, а не 68. Если даже год неизвестен, но предполагается, что это, допустим, шестидесятые (1960s, 1960er и т.п.), то можно оставить так.
Тут так много требований потому, чтобы было потом проще из всего массива (а во временной папке накапливается по несколько тысяч фотографий) было проще раскидывать по годам.
2. Если есть название гонки и гонщик или модель автомобиля, то пусть лучше будет.
3. Нужно избегать букв с диакретическими знаками. Если они есть, менять на базовые буквы без таковых знаков. Просто графически редакторы могут не понимать диакретических знаков и вообще не воспринимать файлы с именами с такими знаками.
4. Если описание слишком длинное, компьютер сам обрежет его в названии файла настолько, насколько ему нужно, поэтому длинных имён файла следует избегать.
Иногда приходится самостоятельно составлять фразу в "Блокноте" из различных кусков. Также к "Блокноту" приходится прибегать, когда подпись разделена на несколько строчек, а такие фразы сохраняются только до первого знака абзаца, то есть сохранится только первая строчка. Тогда надо в текстовом редакторе (тот же "Блокнот") всё переводить в одну строчку.
Пример №1.
 
(http://thumbs2.ebaystatic.com/m/mYLoCv4AOdFI1hb9pMdaX8A/80.jpg) (http://f1.pluto.net.ru/javascript%20;) 8x6in B&W PHOTO DAVID SKAILES ASTON DB4GT ZAGATO 1964 (http://cgi.ebay.co.uk/8x6in-B-W-PHOTO-DAVID-SKAILES-ASTON-DB4GT-ZAGATO-1964_W0QQitemZ230440984217QQcmdZViewItemQQptZUK_Sports_Memorabilia_ET?hash=item35a75a5e99)
Из короткого описания рядом с фотографией "8x6in B&W PHOTO DAVID SKAILES ASTON DB4GT ZAGATO 1964" нужно только "DAVID SKAILES ASTON DB4GT ZAGATO 1964", потому что всё остальное к содержанию кадра не относится. Но ниже есть описание полнее. Его начало:
"DAVID SKAILES RACED THIS ASTON MARTIN DB4GT ZAGATO VERY SUCCESSFULLY.  HE IS SEEN COMPETING IN A RACE MEETING ORGANISED BY THE ASTON MARTIN OWNERS CLUB AT SILVERSTONE ON 9 MAY 1964.  THIS IS NOT A TOM MARCH PHOTOGRAPH .  8x6in B&W PHOTOGRAPH."
Тут уже есть дата и название соревнования, но фраза слишком длинная, поэтому из неё я выкидываю то, что здесь выделил красным. Картинка получилась с таким длинным именем:
"DAVID SKAILES ASTON MARTIN DB4GT ZAGATO RACE MEETING ORGANISED BY THE ASTON MARTIN OWNERS CLUB AT SILVERSTONE ON 9 MAY 1964"
Зато в ней есть всё необходимое.
Пример №2.
 
(http://thumbs2.ebaystatic.com/m/maPHxP1dKjaoy6-0NC1z6ig/80.jpg) (http://f1.pluto.net.ru/javascript%20;) OULTON PARK F2 TROPHY RACE 1960 B/W PHOTO (http://cgi.ebay.co.uk/OULTON-PARK-F2-TROPHY-RACE-1960-B-W-PHOTO_W0QQitemZ400106798973QQcmdZViewItemQQptZUK_Sports_Memorabilia_ET?hash=item5d28393f7d)
У этого продавца всегда очень информативные полные описания, которые я полностью переношу на имя сохранённого файла:
"MIKE MCKEE'S COOPER T45 ABOUT TO BE LAPPED BY THE LEADERS - JOHN SURTEES COOPER T51, INNES IRELAND LOTUS 18 AND CHRIS BRISTOW COOPER T51, OULTON PARK F2 TROPHY RACE, 2 APRIL 1960"
Разумеется, фразу "BLACK AND WHITE PHOTOGRAPH" я игнорирую.
Пример №3.
 
(http://thumbs2.ebaystatic.com/m/mz47BXM1pyL9wVA3OrsIZFA/80.jpg) (http://f1.pluto.net.ru/javascript%20;) 4X6 Photo #76 Gerald Chamberlain Nazareth Natl 1983 (http://cgi.ebay.com/4X6-Photo-76-Gerald-Chamberlain-Nazareth-Natl-1983_W0QQitemZ360230847197QQcmdZViewItemQQptZUS_Racing_Fan_Shop?hash=item53df6e82dd)
Из основного описания можно выделить фразу "#76 Gerald Chamberlain Modified taken at Nazareth National, 1983", но в ней есть лишнее слово "taken", а в кратком описании рядом с фотографией его нет: "#76 Gerald Chamberlain Nazareth Natl 1983". По информативности они идентичны, так что я выбираю второй вариант (а по расположению - первый). Но, в принципе, особой разницы нет. Пусть будет с taken.
Иногда фотографии демонстрируются в самом описании. Тогда они сохранены где-то в другом месте, не на "И-бэе". Стандартные же "и-бэевские" картинки 12-го размера появляются в отдельном окне, если кликнуть на фото в левом верхнем углу страницы. 12-м я этот размер называю потому, что в оригинальном имени файла всегда стоит число 12. Раньше это был 1-й размер, но потом они экпериментировали, и нынешний "12-й" - это промежуточный между 1-м и 2-м. А на странице лота - "35-й" размер. Нужен, конечно, тот, который побольше.
Название: Re: Сохранение фотографий
Отправлено: Владимир Коваленко от Декабря 29, 2013, 05:58:45
Цитата: Владимир Коваленко от Марта 13, 2010, 12:58:45
Стандартные же "и-бэевские" картинки 12-го размера появляются в отдельном окне, если кликнуть на фото в левом верхнем углу страницы. 12-м я этот размер называю потому, что в оригинальном имени файла всегда стоит число 12. Раньше это был 1-й размер, но потом они экпериментировали, и нынешний "12-й" - это промежуточный между 1-м и 2-м. А на странице лота - "35-й" размер. Нужен, конечно, тот, который побольше.


На тот момент я не догадался поэкспериментировать с разными индексами, а теперь выясняется, что самые большие размеры имеют индексы 10, 45 и 57.
Название: Re: Сохранение фотографий
Отправлено: Иван Маслов от Января 06, 2014, 12:55:37
Цитата: Алексей Грушко от Января 06, 2014, 12:04:17
http://www.flickr.com/photos/84938363@N00/sets/

Отличная подборка фото. Но как это сохранить не вручную? Сейчас это надо делать так:
1. Кликаем на сет - получаем http://www.flickr.com/photos/84938363@N00/sets/72157623267193641/
2. Кликаем на фото - получаем http://www.flickr.com/photos/84938363@N00/4308386658/in/set-72157623267193641
3. В меню справа справа от поделиться фото выбираем троеточие, выбираем Download/All sizes - получаем http://www.flickr.com/photos/84938363@N00/4308386658/sizes/l/
4. Кликаем на оригинал - получаем http://www.flickr.com/photos/84938363@N00/4308386658/sizes/o/
5. После этого можно через правую кнопку сохранить фото.

Можно, конечно, сформировать список ссылок (например, у этой картинки будет http://farm3.staticflickr.com/2773/4308386658_e6ec3a6eb2_o.jpg), но тогда теряются привязки к гонкам и гонщикам.

Для скачивания с flickr.com раньше использовал Saleen Flickr Downloader
Название: Re: Сохранение фотографий
Отправлено: Алексей Грушко от Января 06, 2014, 16:49:01
Фантастика! Спасибо!
Название: Re: Сохранение фотографий
Отправлено: Владимир Коваленко от Января 06, 2014, 21:55:04
Ссылки на галереи "Фликра" (http://disk.tom.ru/zkrf8k2), которые я в разное время находил, но не было времени их сохранить. Попробуйте, кто-нибудь, пожалуста, раз есть такая замечательная программка.
Название: Re: Сохранение фотографий
Отправлено: Алексей Грушко от Января 07, 2014, 06:33:44
Я постепенно посохраняю.
Название: Re: Сохранение фотографий
Отправлено: Алексей Грушко от Января 19, 2014, 20:27:46
Какие существуют программки для скачивания галлерей из Facebook и фото конкретного пользователя Twitter?
Название: Re: Сохранение фотографий
Отправлено: Иван Маслов от Января 20, 2014, 00:14:32
Для сохранения фотографий с фейсбука использую facepaste https://addons.mozilla.org/ru/firefox/addon/facepaste/ (https://addons.mozilla.org/ru/firefox/addon/facepaste/)
Название: Re: Сохранение фотографий
Отправлено: Влад Шайхнуров от Января 25, 2014, 22:35:31
А из Picasa есть способ выкачать ? Надысь тут наткнулся на интересную подборку : https://plus.google.com/photos/117085257428647367849/albums?banner=pwa  (https://plus.google.com/photos/117085257428647367849/albums?banner=pwa)
Название: Re: Сохранение фотографий
Отправлено: Влад Шайхнуров от Февраля 06, 2015, 15:30:28
Как вытащить фото без копирайтов? http://www.fotolibra.com/gallery/collection/82021/british-motor-sport/ (http://www.fotolibra.com/gallery/collection/82021/british-motor-sport/)
Название: Re: Сохранение фотографий
Отправлено: Алексей Грушко от Февраля 06, 2015, 15:38:07
Никак, они были вшиты при загрузке на сервер.
Название: Re: Сохранение фотографий
Отправлено: Влад Шайхнуров от Мая 14, 2016, 15:00:20
http://www.phombo.com/cars-vehicles/prewar-racing/642993/full/popular/ (http://www.phombo.com/cars-vehicles/prewar-racing/642993/full/popular/) 460 фото. Как выкачать?
Название: Re: Сохранение фотографий
Отправлено: Владимир Коваленко от Мая 14, 2016, 19:52:28
Раньше я это делал очень просто. Смотрим ссылку на картинку:

http://img.phombo.com/img1/photocombo/5209/cache/prewar-racing-436.jpg_1920_beverly_hills_250_-_jimmy_murphy_lyall_jolls_duesenberg_1st_fred_duesenberg_beside_car_display.jpg

Открываем весь альбом: http://www.phombo.com/cars-vehicles/prewar-racing/page-1/.

Смотрим ссылку на эскиз этой картинки:

http://img.phombo.com/img1/photocombo/5209/cache/prewar-racing-436.jpg_1920_beverly_hills_250_-_jimmy_murphy_lyall_jolls_duesenberg_1st_fred_duesenberg_beside_car_forum_thumbnail.jpg

Отличаются только тем, что у большой на конце - "_display.jpg", у маленькой - "_forum_thumbnail.jpg".

Список ссылок я делал программой "Флэш-гет" (FlashGet), но уже много лет ей не пользуюсь. Как-то вот что-то случилось. То ли в новой версии что-то стало по-другому, то ли ещё почему, но перестал пользоваться. Она встраивает контекстное меню в браузер, и по ПКМ можно выбрать "Скачать всё при помощи FlashGet". Появится список ссылок, надо выделить нужные и скопировать их. Потом в любом текстовом редакторе заменить одну концовку на другую, скопировать все ссылки в буфер, и "Флэш-гет" сам предложит их скачать. Раньше получалось, сейчас надо экспериментировать.

Вот ещё на эту тему: http://motorsporthistory.ru/forum/index.php/topic,730.0.html.

Ага, там написано, что на работе пришлось удалить "Флэш-гет". Правда, занимаюсь я этими делами дома, ну да ладно.
Название: Re: Сохранение фотографий
Отправлено: Владимир Коваленко от Мая 19, 2016, 01:21:21
Цитата: Владимир Коваленко от Мая 14, 2016, 19:52:28

Раньше я это делал очень просто. Смотрим ссылку на картинку:

http://img.phombo.com/img1/photocombo/5209/cache/prewar-racing-436.jpg_1920_beverly_hills_250_-_jimmy_murphy_lyall_jolls_duesenberg_1st_fred_duesenberg_beside_car_display.jpg (http://img.phombo.com/img1/photocombo/5209/cache/prewar-racing-436.jpg_1920_beverly_hills_250_-_jimmy_murphy_lyall_jolls_duesenberg_1st_fred_duesenberg_beside_car_display.jpg)

Открываем весь альбом: http://www.phombo.com/cars-vehicles/prewar-racing/page-1/ (http://www.phombo.com/cars-vehicles/prewar-racing/page-1/).

Смотрим ссылку на эскиз этой картинки:

http://img.phombo.com/img1/photocombo/5209/cache/prewar-racing-436.jpg_1920_beverly_hills_250_-_jimmy_murphy_lyall_jolls_duesenberg_1st_fred_duesenberg_beside_car_forum_thumbnail.jpg (http://img.phombo.com/img1/photocombo/5209/cache/prewar-racing-436.jpg_1920_beverly_hills_250_-_jimmy_murphy_lyall_jolls_duesenberg_1st_fred_duesenberg_beside_car_forum_thumbnail.jpg)

Отличаются только тем, что у большой на конце - "_display.jpg", у маленькой - "_forum_thumbnail.jpg".

Список ссылок я делал программой "Флэш-гет" (FlashGet), но уже много лет ей не пользуюсь. Как-то вот что-то случилось. То ли в новой версии что-то стало по-другому, то ли ещё почему, но перестал пользоваться. Она встраивает контекстное меню в браузер, и по ПКМ можно выбрать "Скачать всё при помощи FlashGet". Появится список ссылок, надо выделить нужные и скопировать их. Потом в любом текстовом редакторе заменить одну концовку на другую, скопировать все ссылки в буфер, и "Флэш-гет" сам предложит их скачать. Раньше получалось, сейчас надо экспериментировать.

Вот ещё на эту тему: http://motorsporthistory.ru/forum/index.php/topic,730.0.html (http://motorsporthistory.ru/forum/index.php/topic,730.0.html).

Ага, там написано, что на работе пришлось удалить "Флэш-гет". Правда, занимаюсь я этими делами дома, ну да ладно.

Всё работает. Просто появились новые версии "Флэш-гета", которые действуют по-другому, поэтому надо было установить ту, с которой всё получалось.

Вот первый фотоальбом: https://cloud.mail.ru/public/Hxf5/eDpgkhMC5.

Вот сегодняшний: https://cloud.mail.ru/public/2SAM/LiWkna4NB.
Название: Re: Сохранение фотографий
Отправлено: Владимир Коваленко от Февраля 14, 2017, 02:17:03
Заметил интересную вещь на сайте "Гетти" (Getty Images). Когда заходишь на страницу с фотографией, сначала она загружается без водяного знака, и тут же он появляется на изображении:

http://www.gettyimages.co.uk/detail/news-photo/start-of-the-donington-grand-prix-at-donignton-park-with-news-photo/82092207#start-of-the-donington-grand-prix-at-donignton-park-with-100-000-picture-id82092207

(http://media.gettyimages.com/photos/start-of-the-donington-grand-prix-at-donignton-park-with-100-000-picture-id82092207)

Этот же кадр есть без водяного знака, но в меньшем размере:

http://www.gettyimages.co.uk/photos/donington-grand-prix-race?excludenudity=true&mediatype=photography&phrase=donington%20grand%20prix%20race&sort=mostpopular

(http://media.gettyimages.com/photos/start-of-the-donington-grand-prix-at-donignton-park-with-100-000-picture-id82092207?k=6&m=82092207&s=594x594&w=0&h=JgcoPYBqB6RrKJ3PnNgT5aNSzeGd-uUTFQxesr4_yEI=)

Логика следующая: если фото без знака отобразилось, значит, оно должно было сохраниться в кэше. Но я не нашёл способа его вытащить, если оно действительно сохраняется.

Если бы сначала отображалось маленькое фото, было бы заметно изменение качества, ведь оно должно быть растянуто, поэтому я и думаю, что сначала загружается чистое фото в большом размере. Попробуйте поколдовать, может, у меня мозгов не хватило.
Название: Re: Сохранение фотографий
Отправлено: Александр Готвянский от Сентября 27, 2017, 15:41:34
Цитата: Владимир Коваленко от Февраля 14, 2017, 02:17:03
Заметил интересную вещь на сайте "Гетти" (Getty Images). Когда заходишь на страницу с фотографией, сначала она загружается без водяного знака, и тут же он появляется на изображении:
....
Если бы сначала отображалось маленькое фото, было бы заметно изменение качества, ведь оно должно быть растянуто, поэтому я и думаю, что сначала загружается чистое фото в большом размере. Попробуйте поколдовать, может, у меня мозгов не хватило.
Я несколько раз перезагружал страницу. Мне кажется, что все-таки показывается более мутная картинка, а потом загружается более четкая с водяным знаком

Разобрался подробнее.
Сначала грузится превьюшка 340*252 http://prntscr.com/gqi13d , а потом ее заменяют на большую, разрешением  1024*760 и с водяным знаком http://prntscr.com/gqi1rr
Название: Re: Сохранение фотографий
Отправлено: Александр Готвянский от Июня 07, 2022, 16:46:18

Долго ковырял motorsportimages чтобы понять, как обойти их защиту. Вручную работает только создание скриншотов страницы и только сторонними инструментами.


Решил заморочиться и обнаружил, что инструмент playwright позволяет удобно делать скриншоты и motorsportimages не ставит водяные знаки.
https://playwright.dev/python/docs/cli#take-screenshot (https://playwright.dev/python/docs/cli#take-screenshot)


Например самый простой способ:


Код: [Выделить]
playwright screenshot --full-page www.motorsportimages.com/photo/1019189983-24-hours-of-le-mans-test-day/1019189983/ output.png

Ну а если поковырять глубже, то возможно указать виртуальный размер экрана 7kx7k например и делать скриншоты полноразмерных фото


Код: [Выделить]
playwright screenshot --viewport-size=7000,7000 --full-page www.motorsportimages.com/photo/1019189983-24-hours-of-le-mans-test-day/1019189983/ output.png
Название: Re: Сохранение фотографий
Отправлено: Владимир Коваленко от Июня 11, 2022, 03:11:04
Это надо вручную набирать в командной строке?
Название: Re: Сохранение фотографий
Отправлено: Александр Готвянский от Июня 13, 2022, 08:33:58
Цитата: Владимир Коваленко от Июня 11, 2022, 03:11:04
Это надо вручную набирать в командной строке?
Да, установить python и playwright. Или NodeJS/Playwright. Кому что ближе.

Я примеры на Python писал.
Но я себе скриптов понаписывал, теперь можно как 1 фото скачать по id, так и все событие по event_id.
Название: Re: Сохранение фотографий
Отправлено: Владимир Коваленко от Июня 13, 2022, 09:44:19
Я в этом вообще ничего не понимаю. Но "Пайтон" у меня есть.
Название: Re: Сохранение фотографий
Отправлено: Александр Готвянский от Июля 26, 2022, 12:29:41
Сервис скачивания с gettyimages без водяного знака
https://gettyimages-downloader.beatsnoop.com/
Название: Re: Сохранение фотографий
Отправлено: Влад Шайхнуров от Июля 26, 2022, 13:05:10
Спасибо!
Название: Re: Сохранение фотографий
Отправлено: Владимир Коваленко от Июля 30, 2022, 23:19:14
Спасибо! Катастрофически не успеваю обрабатывать всю появляющуюся информацию, так что нужно хотя бы не забыть об этой новинке, когда дело дойдёт до необходимости её использования.
Название: Re: Сохранение фотографий
Отправлено: Владимир Коваленко от Ноября 13, 2022, 06:05:08
О сохранении файлов в формате ".webp": https://vk.com/wall-142288754_33306.
Название: Re: Сохранение фотографий
Отправлено: Влад Шайхнуров от Июня 12, 2023, 08:03:59
На одном из сайтов, которые торгуют фотографиями, поймал такой момент: сперва появилась "чистая" фотография, потом поверх нее легли водяные знаки. Т.е. фотки лежат не "заляпанные". А как их можно вытащить?