Crawler

Bei einem Crawler auch Webcrawler, Robot, Bot oder Spider genannt)handelt es sich um ein Programm, welches das Internet automatisch durchsucht und eine Analyse der Webseiten vornimmt.

Siehe auch: Harvester, Robots Exclusion Standard, robots.txt

Alle Begriffe von A bis Z