Кроулер, веб-сканер

Кроулер, веб-сканер

Crawler

Веб-сканер (також відомий як автоматичний індексатор, бот, веб-павук, веб-робот) – програмне забезпечення, яке відвідує веб-сторінки в методичний, автоматизований спосіб