Crawler atau Web Crawler merupakan suatu software yang di program untuk mengunjungi website secara otomatis dan berkala. Web crawler mengambil seluruh informasi yang berada di website tersebut untuk mengambil informasi secara umum maupun secara khusus.
Dan saya akan membahas software yang saya pakai untuk crawling, yaitu Win Web Crawler (WWC). WWC merupakan software crawler yang prabayar tetapi bila anda yang ingin menggunakan dengan tidak membayarnya bisa mendowloadnya di website WWC dengan masa trial 15 day .
System Requirements:
- Windows 95/98/2000/NT/ME/XP/Vista
- 32 MB RAM
- 1 MB Hard Disk Space
- Internet Connection
Yang membuat saya memilih WWC sebagai software Crawler :
- Kecepatan tinggi
- multi-threaded
- ekstraksi akurat - langsung menyimpan data ke momory .
- Program memiliki berbagai filter untuk membatasi sesi, seperti - filter URL, teks filter, data filter, domain filter, tanggal dimodifikasi, dll Hal ini memungkinkan tingkat rekursi dapat dipilih oleh pengguna, benang pengambilan,timeout, dukungan proxy dan banyak pilihan lain.
- dan mudah dimengerti untuk yang baru mencoba crawler.
Dengan software WWC ini saya bisa mengetahui bagaimana cara Crawler sebuah web, cukup sekian dengan tulisan ini terima kasih :)
Referensi : http://www.winwebcrawler.com/
Referensi : http://www.winwebcrawler.com/
0 komentar:
Posting Komentar