Spiders și Crawlerele Web: Ce trebuie să știți pentru a proteja datele de pe site
Spiders, care sunt denumiți și "crawlere web", caută pe Web și nu toate sunt prietenoase în intenția lor.
Site-urile Spammers Spider pentru a colecta informații
Google, Yahoo!
și alte motoare de căutare nu sunt singurele care sunt interesate de accesarea cu crawlere a site-urilor Web - așa sunt escrocii și spam-ul.
Spider-urile și alte instrumente automate sunt utilizate de către spammeri pentru a găsi adrese de e-mail (pe internet această practică este denumită adesea "recoltare") pe site-uri web și apoi folosiți-le pentru a crea liste de spam.
Spider-urile sunt, de asemenea, un instrument folosit de motoarele de căutare pentru a afla mai multe informații despre site-ul dvs., dar lăsat necontrolat, un site fără instrucțiuni (sau "permisiuni") despre cum să acceseze cu crawlere site-ul dvs. poate prezenta riscuri majore de securitate a informațiilor. Păianjenii călătoresc prin următoarele linkuri și sunt foarte abilitați să găsească legături către baze de date, fișiere de programe și alte informații la care este posibil să nu doriți ca aceștia să aibă acces.
Webmasterii pot vizualiza jurnalele pentru a vedea ce spiders și alte roboți au vizitat site-urile lor. Aceste informații ajută webmasterii să știe cine indexează site-ul și cât de des.
Aceste informații sunt utile deoarece permit webmasterilor să își regleze SEO și să actualizeze fișierele robot.txt pentru a interzice anumitor roboți să acceseze cu crawlere site-ul lor în viitor.
Sfaturi privind protejarea site-ului dvs. de la crawlerele robot nedorite
Există o modalitate destul de simplă de a păstra crawlerele nedorite din site-ul dvs. Web. Chiar dacă nu sunteți preocupat de păianjenii rău-veniți cu crawlere pe site-ul dvs. (nu vă protejați adresa de e-mail de cele mai multe crawlere), trebuie să furnizați în continuare motoarelor de căutare cu instrucțiuni importante.
Toate site-urile web ar trebui să aibă un fișier amplasat în directorul rădăcină numit fișier robots.txt. Acest fișier vă permite să instruiți crawlerele web unde doriți să se uite la paginile index (dacă nu se specifică altfel într-o meta-dată a unei anumite pagini care să nu fie indexată) dacă acestea sunt un motor de căutare.
Așa cum puteți spune crawlerele dorite unde vreți să le parcurgeți, le puteți spune și unde ar putea să nu meargă și chiar să blocheze crawlerele specifice de pe întregul dvs. site web.
Este important să rețineți că un fișier robots.txt bine construit va avea o valoare extraordinară pentru motoarele de căutare și ar putea fi chiar un element cheie în îmbunătățirea performanței site-ului dvs., dar unele crawlere robot vor ignora instrucțiunile dvs. Din acest motiv, este important să păstrați în permanență toate software-ul, pluginurile și aplicațiile.
Articole și informații înrudite
Datorită prevalenței recoltării informațiilor utilizate în scopuri nefaste (spam), a fost adoptată o legislație în 2003 pentru a face anumite practici ilegale. Aceste legi privind protecția consumatorilor intră sub incidența legii CAN-SPAM din 2003.
Este important să vă acordați timp pentru a citi versiunea CAN-SPAM Act în cazul în care afacerea dvs. se angajează în orice posta de masă sau culegerea de informații.
Puteți afla mai multe despre legile anti-spam și despre modul de abordare a spam-urilor și despre ceea ce dvs., în calitate de proprietar de afaceri, nu le puteți face, citiți următoarele articole:
- CAN-SPAM Act 2003
- CAN-SPAM Act de reglementare pentru non-profit
- 5 CAN-SPAM Reguli Small Business proprietarii trebuie să înțeleagă