Как запросить часть файла через component.internet.request()

[kaka888 10]

Здравствуйте! Написал на сервере прогу в OpenOS для вывода на экран логов сервера, на котором играю. Их по ссылке может открыть любой человек в браузере, а когда логи уже открыты нужно перезагрузить страницу браузера, чтобы подгрузились последние логи. Логи сервера разделены на части по суткам. Крч я не понимаю как сделать нормальную подгрузку новых логов через internet.request(). Пока я смог сделать только так: заново вызвать internet.request() и прочитать веб-страницу, выводя заново каждую строку логов (а их там овер много, так что вывод на экран полного дня логов занимает 1-3 минуты). Может быть можно как-то с конца прочитать страницу??? Как ускорить этот процесс обновления логов на опенкомпе?

Ссылка на логи.

Изменено 19 февраля, 2020 пользователем kaka888

[Chebuya 415]

1 час назад, kaka888 сказал:

....

Никак. Логи достигают там до 4 мегабайт, и какой-то функции получить определенный кусочек информации нельзя. Только обновлением, увы. 

[ECS 1 904]

Поправьте меня, если я ошибаюсь, но, насколько я помню, компонент интернет-платы не позволяет провернуть операцию, аналогичную seek - поэтому приходится загружать контент целиком, "скипая" содержимое до интересующего места. А логи в примерах довольно жирные для опенкомпов, файлы > 500 кб всегда грузятся ощутимо долго.

 

Если есть доступ к директории сервака, то можно накатать простенький php-скрипт, выдающий содержимое файла с конца:

https://stackoverflow.com/questions/2961618/how-to-read-only-5-last-line-of-the-text-file-in-php

 

Или же при наличии сокет-сервера пушить в него каждую отправляемую в лог строку, а затем читать на опенкомпах через internet.connect. Если же доступа к хосту нет, но есть собственная VPS'ка - можно накатать аналогичный скрипт с небольшими модификациями для файлов по удалёнке.

[Totoro 3 563]

Да, эту задачу надо решать со стороны сервера.

Тебе нужна серверная программка, которая будет принимать запросы с каким-то параметром. Например - таймкодом, или номером строки.

И отдавать контент файла начиная с указанного места.

 

UPD.
Если сервер не твой - надо заводить свой сервер, который будет работать как промежуточное звено.

 

Третий способ - норкоманский.

Делаешь несколько OC компов, которые с интервалом в, скажем, 20 секунд начинают выкачивать лог, каждый со своей интернет карты. И далее по очереди отдают свежий лог на центральный комп.

Этакий мультитрединг.

"Лаг" в 1-3 минуты останется, но частота обновления контента повысится. =)

[kaka888 Автор вопроса 10]

Спасибо

[Fingercomp 4 409]

Не-е, нельзя быть таким пессимистичным. Всё можно, и вопрос решается очень легко. В HTTP/1.1 есть хедер Range, который позволяет скачивать файлы кусками. Кроме того, OC умеет посылать и получать хедеры.

local socket = component.internet.request("https://logs.s7.mcskill.ru/Hitechcraft_Public_Logs/public_logs/Hitechcraft_Public_Logs/14-02-2020.txt", nil, {
  Range = ("bytes=%d-"):format(start)
})

local data = ""

while true do
  local chunk = socket.read()
  
  if not chunk then
    break
  end
  
  data = data .. chunk
end

local _, _, headers = socket.response()

print("Got: " .. #data)
print("Content-Length: " .. headers["Content-Length"][1])
print("Content-Range: " .. headers["Content-Range"][1])

Вместо start подставить количество байт, уже прочитанных. Там указывается начало диапазона номером байта (начиная с 0), от которого нужно выдать ответ. См. доки.

 

Поэтому тактика такая:

1. Посылаем запрос с методом HEAD (4 параметр к component.internet.request), чтобы получить только хедеры.
2. Читаем в хедерах значение Content-Length.
3. Начинаем запрашивать куски файла с конца, пока не наберём нужно кол-во строк.
4. После получения начальных строк запомним позицию последнего байта и дальше запрашиваем инфу после него.

[hohserg 197]

@kaka888 у тебя там уязвимость: команда /m тоже логгируется и лс видно всем

[kaka888 Автор вопроса 10]

В 20.02.2020 в 18:16, hohserg сказал:

@kaka888 у тебя там уязвимость: команда /m тоже логгируется и лс видно всем

1. Это не уязвимость, а публичные логи

2. Это не мой сервер, я просто играю на нём

Изменено 2 сентября, 2022 пользователем kaka888

[hohserg 197]

Так в результате этих логов любой юзер может смотреть лс любого игрока. Если ты считаешь, что искать по файлам переписки отдельных игроков сложно, то это ни разу не так, ибо можно автоматизировать. Например, при помощи конвейерных стандартных команд unix

[kaka888 Автор вопроса 10]

В 20.02.2020 в 19:34, hohserg сказал:

Так в результате этих логов любой юзер может смотреть лс любого игрока. Если ты считаешь, что искать по файлам переписки отдельных игроков сложно, то это ни разу не так, ибо можно автоматизировать. Например, при помощи конвейерных стандартных команд unix

Да, но на моём проекте так было всегда и многим это не сильно мешает, т.к. есть множество способов защитить канал связи.

Изменено 2 сентября, 2022 пользователем kaka888

[hohserg 197]

Личные сообщения предназначены только для отправителя и получателей, дело в этом.

Возможно, не все знают, и так получилось, что те кто знают либо относятся к этому равнодушно, либо не были услышаны.

Я бы не стал играть на таком проекте, где каждый желающий может чекать мои лс

[whiskas 144]

Хмм я даже не думал что так можна сделать в ОС. Допилил чутку код фингера что б заранить можна было.

Прога выводит в консольку все сообщения з логов в том числе и новые в риал тайме.

Скрытый текст

local component = require('component')
local data = 0
while true do
    local socket = component.internet.request("https://logs.s7.mcskill.ru/Hitechcraft_Public_Logs/public_logs/Hitechcraft_Public_Logs/20-02-2020.txt", nil, {
        Range = ("bytes=%d-"):format(data)
    })

    while true do
        local chunk = socket.read()

        if not chunk then
            break
        end
        if (#chunk > 0) then
            data = data + #chunk
            io.write(chunk)
        end
    end
end

 

Изменено 20 февраля, 2020 пользователем whiskas

[kaka888 Автор вопроса 10]

25 минут назад, hohserg сказал:

Личные сообщения предназначены только для отправителя и получателей, дело в этом.

Возможно, не все знают, и так получилось, что те кто знают либо относятся к этому равнодушно, либо не были услышаны.

Я бы не стал играть на таком проекте, где каждый желающий может чекать мои лс

Там можно общаться через голосовой чат и через чат на Lua.

[whiskas 144]

4 минуты назад, kaka888 сказал:

Там можно общаться через голосовой чат

Это болььь. Иза этого чата я стал играть без звука в майнкрафте. Какието школьники с писклявым голосом бросаются на тебя с словами "я твою мамку." или "Го пвп трус, сыкло го пвп". Или же некоторые индивидиумы бегающие з музыкой. Или же пукающие рыгающие крычащие в микровон уроды.

[kaka888 Автор вопроса 10]

1 минуту назад, whiskas сказал:

Это болььь. Иза этого чата я стал играть без звука в майнкрафте. Какието школьники с писклявым голосом бросаются на тебя с словами "я твою мамку." или "Го пвп трус, сыкло го пвп". Или же некоторые индивидиумы бегающие з музыкой. Или же пукающие рыгающие крычащие в микровон уроды.

Вообще-то таких индивидов можно отдельно замутить в настройках голос. чата)

[hohserg 197]

14 минуты назад, whiskas сказал:

Прога выводит в консольку все сообщения з логов в том числе и новые в риал тайме.

Отлично, осталось дописать фильтрацию лс и можно троллить игроков на сервере 

[whiskas 144]

1 минуту назад, kaka888 сказал:

Вообще-то таких индивидов можно отдельно замутить в настройках голос. чата)

1) Голосовой чат как я помню не мутился.

2) А отдельных индивидиумов можна замутить уже после того как они тебе психику сломают.

[kaka888 Автор вопроса 10]

1 минуту назад, hohserg сказал:

Отлично, осталось дописать фильтрацию лс и можно троллить игроков на сервере 

Игроков уже давно троллят ЛСами

Изменено 20 февраля, 2020 пользователем kaka888

[hohserg 197]

Ну вот, уже есть живой пример вреда вседоступности чужих лс

[Fingercomp 4 409]

8 часов назад, whiskas сказал:

Хмм я даже не думал что так можна сделать в ОС. Допилил чутку код фингера что б заранить можна было.

Прога выводит в консольку все сообщения з логов в том числе и новые в риал тайме.

[...]

Понятно, что прожка писалась на скорую руку и должна быть доделана. Подскажу, как именно.

1. Нет смысла качать мегабайт логов, которые всё равно не влезут в консоль. Нужно вытащить последние строки, например алгоритмом, который я описал в прошлом посте.
2. Не нужно досить сервер запросами. Добавить хотя бы os.sleep(5).
3. Проверять, изменились ли логи, можно через ETag. Его сервер тоже посылает.
4. Проверять, что #chunk > 0, смысла не имеет. Там есть 3 случая: nil, когда оборвано соединение, "", если просто пока нет ответа, или же строка с данными.
5. Прога такая работать будет не более суток. Затем она перестанет обновляться. Думаю, ясно почему.

[Chebuya 415]

Написал простенький скрипт по выводу логов. Сделал форматирование времени, чтобы у юзера было такое же время, как и у него на часах.

Скрытый текст

https://raw.githubusercontent.com/BrightYC/Other/master/log-print.lua

Изменено 21 февраля, 2020 пользователем BrightYC