Skrivena pretnja vašem veb-sajtu:

Ako imate veb-sajt ili onlajn prodavnicu, možda ste primetili neke neobične promene poslednjih meseci. Možda vaš sajt povremeno usporava, troškovi hostinga vašeg veb-sajta su se povećali ili ste primetili neobične obrasce saobraćaja u vašoj analitici. To je često zbog botova veštačke inteligencije koje kompanije poput OpenAI, Google, Meta, Anthropic i mnogih drugih šalju širom veba da prikupljaju podatke za treniranje svojih jezičkih modela.
Ovo nije samo tehnička zanimljivost, već poslovna realnost koja direktno utiče na troškove rada vašeg veb-sajta i prodavnice. Kao što smo pisali u našem članku o tome zašto je bezbednost na mreži danas ključna, onlajn okruženje postaje sve zahtevnije svake godine. Ali botovi veštačke inteligencije dodali su potpuno novu promenljivu u jednačinu.

Brojke govore same za sebe. Prema Imperva-i, 51% celokupnog veb saobraćaja će dolaziti od botova do 2024. godine, a udeo saobraćaja koji generišu AI botovi biće segment sa najbržim rastom. OpenAI botovi sada čine oko 13% celokupnog veb saobraćaja, više od Google-ovog bota za pretragu, koji čini „samo“ 8%.

Razlika između tradicionalnih botova za pretragu i AI botova je značajna. Botovi za pretragu poput Google-ovih posećuju vaš sajt da bi ga rangirali u rezultatima pretrage, što vam dovodi posetioce i potencijalne kupce. AI botovi, s druge strane, prikupljaju vaš sadržaj da bi trenirali svoje modele. Oni obično ne dovode nijednog posetioca na vaš sajt, ali troše kapacitet vašeg servera, propusni opseg i time povećavaju troškove.

Ovi primeri pokazuju koliko agresivni ovi pretraživači mogu biti. Sajt Read the Docs je objavio da je jedan veštački pretraživač preuzeo 73 terabajta kompresovanih datoteka u 2024. godini, uključujući 10 terabajta u jednom danu, što je rezultiralo dodatnim troškovima propusnog opsega od preko 5.000 dolara. Osnivač Game UI Database-a opisao je agresivno pretraživanje kao „dvonedeljni napad krađe podataka“. Freelancer.com je primio 3,5 miliona zahteva od jednog pretraživača za četiri sata.

Slične nalaze potkrepljuje analiza InMotion Hosting-a, koja napominje da veštački pretraživači, za razliku od pretraživača, zahtevaju velike količine stranica u veoma kratkim intervalima, ignorišući smernice za uštedu propusnog opsega. Jedan korisnik je prijavio da je potrošio čak 30 terabajta propusnog opsega u jednom mesecu.

Posledice agresivnog pregledanja su višestruke i vlasnici veb-sajtova ih često ne prepoznaju odmah.

Prva i najneposrednija posledica su veći troškovi hostinga. Provajderi hostinga naplaćuju na osnovu korišćenja resursa, propusnog opsega i opterećenja servera. Kada veštačka inteligencija pregledači povećaju saobraćaj ka vašem sajtu višestruko od normalnog, to se direktno odražava na vašem računu. Za preduzeća koja koriste deljeni hosting, situacija je još gora, jer agresivno pregledanje veb-sajtova na istom serveru može usporiti i vaš.

Druga posledica je usporavanje veb-sajta. Kada server obrađuje hiljade zahteva od pregledača, ponestaje mu kapaciteta za stvarne posetioce. Stranice se sporije učitavaju, korisničko iskustvo se pogoršava i posetioci odlaze. Istraživanja pokazuju da više od polovine posetilaca napušta veb-sajt ako se ne učita u roku od tri sekunde.

Treća posledica, koju mnogi previđaju, je uticaj na rangiranje na pretraživačima. Gugl uzima u obzir brzinu učitavanja stranice prilikom rangiranja rezultata. Metrike poput vremena do prvog prikazivanja i vremena do maksimalnog prikazivanja sadržaja direktno su povezane sa rangiranjem. Ako veštački pretraživači usporavaju vašu stranicu, to indirektno šteti vašoj vidljivosti u rezultatima pretrage, što znači manje organskog saobraćaja i manje kupaca.

Četvrta posledica je povezana sa bezbednošću. Obilje robotskog saobraćaja otežava identifikaciju stvarnih bezbednosnih pretnji. Kao što smo detaljnije opisali u našem članku o tome kako zaštititi vašu veb stranicu, u Kabiju se suočavamo sa sve većim brojem napada koje svakodnevno blokiramo. veštački roboti dodaju dodatni sloj složenosti ovoj jednačini, jer je potrebno razlikovati pretraživače koji su neželjeni, ali ne i opasni, od stvarnih napada.

Mnogi vlasnici veb-sajtova i onlajn prodavnica oslanjaju se na datoteku robots.txt kako bi robotima rekli koje delove svojih stranica ne bi trebalo da posećuju. Problem je što neki veštački pretraživači potpuno ignorišu ovu datoteku. Oni koriste skrivene pregledače ili menjaju svoje oznake kako bi izbegli otkrivanje. To znači da je trenutna zaštita ovom datotekom samo delimično rešenje.

Pored toga, veštački roboti se fundamentalno razlikuju od tradicionalnih robota. Oni ne posećuju stranicu jednom, a zatim nastavljaju dalje. Vraćaju se svakih nekoliko sati, proveravajući svaku podstranicu i svaku datoteku. Ovaj ponavljajući obrazac umnožava potrošnju resursa do mere koja je bila nezamisliva pre nekoliko godina.

Situacija će se u budućnosti samo pogoršati. Broj veštačkih robota se povećava, njihovo ponašanje postaje sofisticiranije, a količina podataka koju žele da prikupe se povećava. To znači da će troškovi hostovanja i održavanja veb-sajtova neizbežno rasti ukoliko se vlasnici veb-sajtova ne pripreme u skladu sa tim.

Ako posedujete veb-sajt ili onlajn prodavnicu, trebalo bi da budete svesni da su dani kada je hosting bio samo iznajmljivanje prostora na serveru i povremeno ažuriranje istog prošli. Današnji veb zahteva aktivno upravljanje, stalno praćenje i ulaganja u rešenja za bezbednost i performanse.

Troškovi hostinga i održavanja će rasti u narednim godinama, ne zato što provajderi proizvoljno podižu cene, već zato što se značajno povećao raspon pretnji i opterećenja koja veb-sajtovi moraju da izdrže. Roboti veštačke inteligencije su samo jedan od faktora, ali jedan od najvažnijih u pogledu obima njihovog uticaja.

Kompanije koje razumeju ovu promenu i blagovremeno se pripreme za nju održavaće brzo, bezbedno i pouzdano onlajn prisustvo. Oni koji čekaju da se problemi manifestuju suočiće se sa većim troškovima, lošijim korisničkim iskustvom i potencijalnim gubitkom kupaca.

U Kabiju verujemo da je proaktivno upravljanje vašim onlajn prisustvom investicija koja se uvek isplati na duži rok. Ako ste zainteresovani kako možemo da obezbedimo pouzdan rad vašeg veb-sajta u ovom sve zahtevnijem okruženju, kontaktirajte nas.