Не, это немного не так работает, функция в которой это все происходит и есть onClick(), она ничего не возвращает, поэтому ошибка.
В функцию приходит информация от родителя в первом параметре таблица со значениями, во втором имя пользователя.
Вот как это можно посмотреть:
forms = require('forms')
form = forms.addForm()
btn = form:addButton(32, 16, "Войти",
function(args, name)
print(name)
for i, j in pairs(args) do
print(i, j)
end
end)
forms.run(form)