Перейти к содержимому
  • 0
Eternaldd

Сайт возвращает 403

Вопрос

Что делать, если сайт возвращает 403?
 

local internet = require("internet")

local response = internet.request("http://logs.s12.mcskill.net/Hitechcraft_public_logs/22-07-2021.txt")

for chunk in response do
  io.write(chunk)
end

print()


 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Рекомендуемые сообщения

20 часов назад, Eternaldd сказал:

Что делать, если сайт возвращает 403?

код 403 доступ запрещён, (попросить админа чтоб открыл доступ в конфигах мода OpenComputers)

но их явно не просто так заблокировали

 

Другой подвох, что логи слишком большие для OpenComputers,

на этом сайте предпринимали попытки чтения по частям, но ничего рабочего я не нашёл

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

путём энных извращений слепил какаху для вывода последних сообщений из логов

Скрытый текст

local url = "http://logs.s12.mcskill.net/Hitechcraft_public_logs/23-07-2021.txt"
local com = require('component')

while true do
  os.execute("cls")
  local socket = com.internet.request(url, nil, {Range = "bytes=-1300"})
  print(socket.read())
  os.sleep(5)
end

 

принтит сообщения с задержкой 5 сек (можно поиграться со значением)

Скрытый текст

5yViykk.png

 

Изменено пользователем serafim

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
В 23.07.2021 в 20:25, serafim сказал:

код 403 доступ запрещён, (попросить админа чтоб открыл доступ в конфигах мода OpenComputers)

но их явно не просто так заблокировали

 

Идея в том, чтобы как-то это обойти. Если бы их можно было куда-то залить и после беспроблемно скачать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
17 минут назад, Eternaldd сказал:

Идея в том, чтобы как-то это обойти. Если бы их можно было куда-то залить и после беспроблемно скачать.

Если движок сайта выдаёт ошибку 403, то обычно это никак не обойти. Если доступ блокируется по IP, то может помочь доступ через прокси.

 

Если ошибка выпадает не постоянно, тогда, пользуясь временной возможностью, можно залить файлы на промежуточный сервер. Но какой в этом смысл, если требуется актуальная версия логов?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
2 минуты назад, eu_tomat сказал:

Если движок сайта выдаёт ошибку 403, то обычно это никак не обойти. Если доступ блокируется по IP, то может помочь доступ через прокси.

Так ошибка конкретно при доступе через oc на сервере. Сам сайт находится в свободном доступе. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
7 минут назад, Eternaldd сказал:

Так ошибка конкретно при доступе через oc на сервере. Сам сайт находится в свободном доступе. 

Тогда промежуточный сервер поможет. Причём, лучше было бы эти огромные файлы не скачивать и не хранить, а просто перенаправлять запросы к файлам на целевой сервер. Но такое решение выйдет далеко за рамки Lua и OpenComputers.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Сайт обзавёлся DDOS защитой, теперь напрямую логи не получить

Видемо им не понравилось что их логи кто-то смотрит, мой респект админам

Скрытый текст

l29WDbs.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вообще накидал типа парсера для сортировки сообщений

Скрытый текст

1yk6z1g.png

А ещё проанализировал с помощью Wireshark исходящий и входящий трафик

Оказалось что ОС отправляет запрос серверу, а сервер присылает ответ,

но ОС его игнорит, без понятия почему, на эмуляторе работает как часы

Изменено пользователем serafim

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
27 минут назад, serafim сказал:

Оказалось что ОС отправляет запрос серверу, а сервер присылает ответ, но ОС его игнорит

Это в какой-то определённой серверной сборке ответ игнорируется, или OpenComputers так себя ведёт с настройками по умолчанию?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
14 минуты назад, eu_tomat сказал:

OpenComputers так себя ведёт с настройками по умолчанию?

клиент 1.12.2 настройки по умолчанию, в основном выбивает nil иногда ошибку 403

Жаль скриншотов не осталось, но поведение трафика что в эмуляторе что в ОС одинаковое, вот только ОС игнорит ответ сервера

Изменено пользователем serafim

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
46 минут назад, serafim сказал:

в основном выбивает nil иногда ошибку 403

А разве ошибка 403 не является ответом сервера? Или OC может каким-то образом сам её подсовывать вместо ответа сервера?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
20 минут назад, eu_tomat сказал:

А разве ошибка 403 не является ответом сервера? Или OC может каким-то образом сам её подсовывать вместо ответа сервера?

Есть такая программа для поиска по содержанию файлов (Архивариус 3000),

проанализировал ею как ОС так и исходники ОС,

ошибку 403 ОС сама не умеет подсовывать, это явно ответ от сервера

Как бы и в самой либе internet есть ожидание ответа, но почему-то в основном прилетает nil

Скрытый текст

    ["()"] = "function():string -- Tries to read data from the socket stream and return the read byte array.",
      while true do
        local data, reason = request.read()
        if not data then
          request.close()
          if reason then
            error(reason, 2)
          else
            return nil -- eof
          end
        elseif #data > 0 then
          return data
        end
        -- else: no data, block
        os.sleep(0)
      end

 

 

Изменено пользователем serafim

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

поделюсь наработками, может кому нибуть пригодятся

https://pastebin.com/1gfatCAE

Скрытый текст

JGvhQvC.png

 

Изменено пользователем serafim

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
19 часов назад, serafim сказал:

Поскольку сайт под ддос защитой и возвращает только ошибку 403

поделюсь наработками, может кому нибуть пригодятся

Я не уловил взаимосвязи. Эти наработки помогают обойти ошибку 403?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
8 часов назад, eu_tomat сказал:

Эти наработки помогают обойти ошибку 403?

нет, но если способ будет найден, то есть уже готовый парсер сообщений

кстати в эмуляторе в данный момент прога работает

по неизвестной причине ддос защита сайта временами отключена

Изменено пользователем serafim

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
2 часа назад, serafim сказал:

как оказалось  нужно было подождать finishConnect()

Ого! А в эмуляторе без ожидания что-ли работало? В Майнкрафте-то всегда ждать приходилось.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
Только что, eu_tomat сказал:

А в эмуляторе без ожидания что-ли работало?

да работало

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

лол, в майне уже не работает :blink:

 

такс, оказывается ещё и посредник CloudFlare палки в колёса вставляет

скрин http запроса из майна:

Скрытый текст

vNuMUHg.png

error code: 1010

The owner of this website has banned your access based on your browser's signature

 

видители ему не нравится header Java/1.8.0_251 который OpenOS сам подставляет в запрос

добавил header User-Agent "Mozilla/5.0 (X11; Linux i686; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"

 

вроде помогло, ну и морока :(

Изменено пользователем serafim

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
57 минут назад, serafim сказал:

вроде помогло, ну и морока

Это ещё что. Я на прошлой неделе пытался эту страницу в браузере открыть. Браузер, конечно, старый, и давно уже не обновляется для Windows XP, но он вполне обычный легальный браузер. Я раз 10 пытался доказать, что я не робот, помечая фотографии то светофоров, то грузовиков. В итоге страницу я так и не посмотрел. Окей, Гугол, я робот.

  • Нравится 1
  • Спасибо 1
  • Грусть 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Присоединяйтесь к обсуждению

Вы можете написать сейчас и зарегистрироваться позже. Если у вас есть аккаунт, авторизуйтесь, чтобы опубликовать от имени своего аккаунта.

Гость
Ответить на вопрос...

×   Вы вставили отформатированное содержимое.   Удалить форматирование

  Разрешено использовать не более 75 эмодзи.

×   Ваша ссылка была автоматически встроена.   Отобразить как ссылку

×   Ваш предыдущий контент был восстановлен.   Очистить редактор

×   Вы не можете вставлять изображения напрямую. Загружайте или вставляйте изображения по ссылке.


×
×
  • Создать...