tz_backend

tz_backend.md

Необходимо создать консольную (работающую из командной строки) утилиту. Программа спрашивает домен и забирает с введённого адреса файл robots.txt. Затем скрипт парсит файл и выводит его содержимое в виде объекта. Ключами объекта являются параметры User-Agent, а значениями — вложенный объект. Вложенный объект содержит два поля Allow и Dissallow, каждый из которых является массивом соответствующих URL из robots.txt.
Код выложить на GitHub
Код должен быть написан на Node.js
Пример:

{
  "*": {
      "Disallow": ["/cgi-bin"],
      "Allow": ["/"]
   },
  "GoogleBot": {
      "Disallow": ["/cgi-bin"],
      "Allow": ["/"]
   }
}