Тут стоит ознакомиться с литературой по Луа. Вкратце, операторы языка могут образовывать конструкции, наподобии математических выраженией, с любым уровнем вложенности.
"Вычисляются" эти конструкции аналогично, начиная со внутренних скобок.
В данной строке, сначала произойдет вызов функции component.list('modem').
Согласно документации ОС, функция component.list() возвращает функцию-итератор по компонентам с подходящими именами. Имя у нас "modem". (Итератор - это такая функция, которая при каждом вызове возвращает следующий элемент коллекции).
Далее срабатывают пустые скобки (). На самом деле они стоят там не отдельно.
Поскольку конструкция component.list('modem') вернула нам функцию, дописав справа пару скобок, я тем самым вызвал эту функцию. Это можно записать так: <полученная функция итератор>().
Вызванная функция вернула первый элемент коллекции модемов в виде адреса, как и полагается итератору.
Таким образом у нас теперь происходит вызов функции component.proxy(<полученный адрес модема>). Как и сказано в документации, результатом становится прокси модема.
Вуаля!