Сайт возвращает 403

[Eternaldd 3]

Что делать, если сайт возвращает 403?
 

local internet = require("internet")

local response = internet.request("http://logs.s12.mcskill.net/Hitechcraft_public_logs/22-07-2021.txt")

for chunk in response do
  io.write(chunk)
end

print()

 

[serafim 272]

20 часов назад, Eternaldd сказал:

Что делать, если сайт возвращает 403?

код 403 доступ запрещён, (попросить админа чтоб открыл доступ в конфигах мода OpenComputers)

но их явно не просто так заблокировали

 

Другой подвох, что логи слишком большие для OpenComputers,

на этом сайте предпринимали попытки чтения по частям, но ничего рабочего я не нашёл

[serafim 272]

путём энных извращений слепил какаху для вывода последних сообщений из логов

Скрытый текст

local url = "http://logs.s12.mcskill.net/Hitechcraft_public_logs/23-07-2021.txt"
local com = require('component')

while true do
  os.execute("cls")
  local socket = com.internet.request(url, nil, {Range = "bytes=-1300"})
  print(socket.read())
  os.sleep(5)
end

 

принтит сообщения с задержкой 5 сек (можно поиграться со значением)

Скрытый текст

 

Изменено 23 июля, 2021 пользователем serafim

[Eternaldd Автор вопроса 3]

В 23.07.2021 в 20:25, serafim сказал:

код 403 доступ запрещён, (попросить админа чтоб открыл доступ в конфигах мода OpenComputers)

но их явно не просто так заблокировали

 

Идея в том, чтобы как-то это обойти. Если бы их можно было куда-то залить и после беспроблемно скачать.

[eu_tomat 2 154]

17 минут назад, Eternaldd сказал:

Идея в том, чтобы как-то это обойти. Если бы их можно было куда-то залить и после беспроблемно скачать.

Если движок сайта выдаёт ошибку 403, то обычно это никак не обойти. Если доступ блокируется по IP, то может помочь доступ через прокси.

 

Если ошибка выпадает не постоянно, тогда, пользуясь временной возможностью, можно залить файлы на промежуточный сервер. Но какой в этом смысл, если требуется актуальная версия логов?

[Eternaldd Автор вопроса 3]

2 минуты назад, eu_tomat сказал:

Если движок сайта выдаёт ошибку 403, то обычно это никак не обойти. Если доступ блокируется по IP, то может помочь доступ через прокси.

Так ошибка конкретно при доступе через oc на сервере. Сам сайт находится в свободном доступе. 

[eu_tomat 2 154]

7 минут назад, Eternaldd сказал:

Так ошибка конкретно при доступе через oc на сервере. Сам сайт находится в свободном доступе. 

Тогда промежуточный сервер поможет. Причём, лучше было бы эти огромные файлы не скачивать и не хранить, а просто перенаправлять запросы к файлам на целевой сервер. Но такое решение выйдет далеко за рамки Lua и OpenComputers.

[serafim 272]

Сайт обзавёлся DDOS защитой, теперь напрямую логи не получить

Видемо им не понравилось что их логи кто-то смотрит, мой респект админам

Скрытый текст

[serafim 272]

Вообще накидал типа парсера для сортировки сообщений

Скрытый текст

А ещё проанализировал с помощью Wireshark исходящий и входящий трафик

Оказалось что ОС отправляет запрос серверу, а сервер присылает ответ,

но ОС его игнорит, без понятия почему, на эмуляторе работает как часы

Изменено 30 июля, 2021 пользователем serafim

[eu_tomat 2 154]

27 минут назад, serafim сказал:

Оказалось что ОС отправляет запрос серверу, а сервер присылает ответ, но ОС его игнорит

Это в какой-то определённой серверной сборке ответ игнорируется, или OpenComputers так себя ведёт с настройками по умолчанию?

[serafim 272]

14 минуты назад, eu_tomat сказал:

OpenComputers так себя ведёт с настройками по умолчанию?

клиент 1.12.2 настройки по умолчанию, в основном выбивает nil иногда ошибку 403

Жаль скриншотов не осталось, но поведение трафика что в эмуляторе что в ОС одинаковое, вот только ОС игнорит ответ сервера

Изменено 30 июля, 2021 пользователем serafim

[eu_tomat 2 154]

46 минут назад, serafim сказал:

в основном выбивает nil иногда ошибку 403

А разве ошибка 403 не является ответом сервера? Или OC может каким-то образом сам её подсовывать вместо ответа сервера?

[serafim 272]

20 минут назад, eu_tomat сказал:

А разве ошибка 403 не является ответом сервера? Или OC может каким-то образом сам её подсовывать вместо ответа сервера?

Есть такая программа для поиска по содержанию файлов (Архивариус 3000),

проанализировал ею как ОС так и исходники ОС,

ошибку 403 ОС сама не умеет подсовывать, это явно ответ от сервера

Как бы и в самой либе internet есть ожидание ответа, но почему-то в основном прилетает nil

Скрытый текст

    ["()"] = "function():string -- Tries to read data from the socket stream and return the read byte array.",
      while true do
        local data, reason = request.read()
        if not data then
          request.close()
          if reason then
            error(reason, 2)
          else
            return nil -- eof
          end
        elseif #data > 0 then
          return data
        end
        -- else: no data, block
        os.sleep(0)
      end

 

 

Изменено 30 июля, 2021 пользователем serafim

[serafim 272]

поделюсь наработками, может кому нибуть пригодятся

https://pastebin.com/1gfatCAE

Скрытый текст

 

Изменено 4 сентября, 2021 пользователем serafim

[eu_tomat 2 154]

19 часов назад, serafim сказал:

Поскольку сайт под ддос защитой и возвращает только ошибку 403

поделюсь наработками, может кому нибуть пригодятся

Я не уловил взаимосвязи. Эти наработки помогают обойти ошибку 403?

[serafim 272]

8 часов назад, eu_tomat сказал:

Эти наработки помогают обойти ошибку 403?

нет, но если способ будет найден, то есть уже готовый парсер сообщений

кстати в эмуляторе в данный момент прога работает

по неизвестной причине ддос защита сайта временами отключена

Изменено 26 августа, 2021 пользователем serafim

[serafim 272]

как оказалось  нужно было подождать finishConnect()

код выше поправил, теперь работает и в майне

[eu_tomat 2 154]

2 часа назад, serafim сказал:

как оказалось  нужно было подождать finishConnect()

Ого! А в эмуляторе без ожидания что-ли работало? В Майнкрафте-то всегда ждать приходилось.

[serafim 272]

Только что, eu_tomat сказал:

А в эмуляторе без ожидания что-ли работало?

да работало

[serafim 272]

лол, в майне уже не работает 

 

такс, оказывается ещё и посредник CloudFlare палки в колёса вставляет

скрин http запроса из майна:

Скрытый текст

error code: 1010

The owner of this website has banned your access based on your browser's signature

 

видители ему не нравится header Java/1.8.0_251 который OpenOS сам подставляет в запрос

добавил header User-Agent "Mozilla/5.0 (X11; Linux i686; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"

 

вроде помогло, ну и морока 

Изменено 29 августа, 2021 пользователем serafim

[eu_tomat 2 154]

57 минут назад, serafim сказал:

вроде помогло, ну и морока

Это ещё что. Я на прошлой неделе пытался эту страницу в браузере открыть. Браузер, конечно, старый, и давно уже не обновляется для Windows XP, но он вполне обычный легальный браузер. Я раз 10 пытался доказать, что я не робот, помечая фотографии то светофоров, то грузовиков. В итоге страницу я так и не посмотрел. Окей, Гугол, я робот.