wget/cURL i 302 Found

[ukozik26 0]

Cześć.

Natknąłem się na pewien problem związany z pobieraniem strony. Mianowicie, chodzi o coś takiego:

- jest strona, na której jest generator, który generuje dokument (www.strona.pl/generator.php)

W momencie, jak chce pobrać sobie wynik generator.php wgetem/cURLem dostaje 302 Found i mnie przenosi pod inny dokument.

Dokładnie chodzi o pobieranie AUP ze strony Polskiej Agencji Żeglugi Powietrznej.

Log z wgeta:

user@serwer:~/test$ wget http://www.amc.pansa.pl/generator_AUP.php
--2017-07-07 12:39:45--  http://www.amc.pansa.pl/generator_AUP.php
Translacja www.amc.pansa.pl (www.amc.pansa.pl)... 91.216.160.135
Łączenie się z www.amc.pansa.pl (www.amc.pansa.pl)|91.216.160.135|:80... połączono.
Żądanie HTTP wysłano, oczekiwanie na odpowiedź... 302 Found
Lokalizacja: http://www.amc.pata.pl/index.php?lang=_pl&top_menu=top_amc&left_menu=menu_amc&opis=amc_info [podążanie]
--2017-07-07 12:39:50--  http://www.amc.pata.pl/index.php?lang=_pl&top_menu=top_amc&left_menu=menu_amc&opis=amc_info
Translacja www.amc.pata.pl (www.amc.pata.pl)... 91.216.160.135
Ponowne użycie połączenia do www.amc.pansa.pl:80.
Żądanie HTTP wysłano, oczekiwanie na odpowiedź... 200 OK
Długość: nieznana [text/html]
Zapis do: `generator_AUP.php'

    [ <=>                                                                                                                              ] 14.571      --.-K/s   w  0,002s

2017-07-07 12:39:50 (7,57 MB/s) - zapisano `generator_AUP.php' [14571]

Próbowałem również z --referer:

user@serwer:~/test$ --2017-07-07 12:41:07--  http://www.amc.pansa.pl/generator_AUP.php
Translacja www.amc.pansa.pl (www.amc.pansa.pl)... 91.216.160.135
Łączenie się z www.amc.pansa.pl (www.amc.pansa.pl)|91.216.160.135|:80... połączono.
Żądanie HTTP wysłano, oczekiwanie na odpowiedź... 302 Found
Lokalizacja: http://www.amc.pata.pl/index.php?lang=_pl&top_menu=top_amc&left_menu=menu_amc&opis=amc_info [podążanie]
--2017-07-07 12:41:07--  http://www.amc.pata.pl/index.php?lang=_pl&top_menu=top_amc&left_menu=menu_amc&opis=amc_info
Translacja www.amc.pata.pl (www.amc.pata.pl)... 91.216.160.135
Ponowne użycie połączenia do www.amc.pansa.pl:80.
Żądanie HTTP wysłano, oczekiwanie na odpowiedź... 200 OK
Długość: nieznana [text/html]
Zapis do: `generator_AUP.php.1'

    [ <=>                                                                                                                              ] 14.571      --.-K/s   w  0,002s

2017-07-07 12:41:07 (8,68 MB/s) - zapisano `generator_AUP.php.1' [14571]

^C
[1]-  Done                    wget http://www.amc.pansa.pl/generator_AUP.php --referer=http://www.amc.pansa.pl/?menu_lewe=aup
[2]+  Done                    opis=amc_aup

Czy mógłby ktoś mi podpowiedzieć, jak temu zaradzić?

Pozdrawiam.

[systemy.internetowe 7]

Pierwsze żądanie HTTP adresu wystawia cookie:

#http://www.amc.pansa.pl/generator_AUP.php zwraca przekierowanie 302:

Date: Mon, 10 Jul 2017 07:13:50 GMT
Server: Apache/2.4.25 (Unix) OpenSSL/1.0.2j PHP/5.6.30 mod_perl/2.0.8-dev Perl/v5.16.3
X-Powered-By: PHP/5.6.30
Set-Cookie: PHPSESSID=9vgv9t560mc8j7slbqreag3vq6; path=/
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Location: http://www.amc.pata.pl/index.php?lang=_pl&top_menu=top_amc&left_menu=menu_amc&opis=amc_info
Content-Length: 0
Keep-Alive: timeout=5, max=100
Connection: Keep-Alive
Content-Type: text/html; charset=iso-8859-2

Dopiero kolejne zwracają tą tabelę. Jeśli usuniesz cookie, to znowu będzie 302, więc kluczowym elementem jest cookie. Zatem musisz wywołać stronę główną i zapisać cookie i dopiero w następnym żądaniu wywooływac adres:

 

http://www.amc.pansa.pl/generator_AUP.php

Dołączając zapisane cookie. Nie wykluczone, że musi być ustawiony jakiś istniejący UserAgent.

[ukozik26 0]

Bardzo dziękuję za pomoc. Działa.

Nie potrzeba nawet UserAgenta.