Buatlah sebuah program commad-line program Web Crawler dengan Go
Input berupa list of URL yang ada dalam sebuah file urls.txt, yang kemudian akan di crawl dan disimpan ke dalam beberapa file html.
File-file html tersebut akan disimpan di sebuah folder result di direktori tempat crawl command di execute.
Command
crawl ./urls.txt
dengan file urls.txt dengan isinya adalah seperti berikut
https://google.com
https://jamtangan.com
https://voila.id
https://go.dev
https://news.ycombinator.com
kemudian hasilnya disimpan ke dalam directory result dengan nama file adalah nama hostnya, seperti berikut ini
google.html
jamtangan.html
voila.html
go.html
news.ycombinator.html
directory result akan berada di directory tempat command line tools di eksekusi.
Note
• Ekseskusi crawl mesti dilakukan secara asynchronous
• Push hasilnya ke github kalian masing-masing, lengkap dengan README dan dokumentasi bagaimana cara nge-run nya.