Kaip dirbtinio intelekto žiniatinklis perrašo turinio paiešką: Nuo paieškos reitingavimo iki šaltinių paieškos

Įvadas

Ištisus dešimtmečius žiniatinklis buvo kuriamas pagal paprastą sandorį: paskelbkite turinį, jį peržiūrėkite, užimkite vietą paieškos reitinguose, ir lankytojų srautai pasklis paskui. Nuorodos, autoritetas, greitis, raktažodžiai - svertai buvo žinomi, žaidimas skaidrus. Matomumas prilygo atradimui. Atradimas prilygo augimui.

Šiandien ši sutartis tyliai nutraukiama.

"AI" varikliai ir generatyvinis variklių optimizavimas - "ChatGPT", "Perplexity", "Claude" ir jiems giminingos programos - keičia informacijos paieškos, sintezės ir pateikimo būdus. Dirbtinis intelektas nebenurodo naudotojų į jūsų puslapį. Jis atsako jiems tiesiogiai. Jis skaito, supranta ir perfrazuoja - dažnai net nepaspaudus mygtuko. Šiame naujame pasaulyje jūsų turinys nekovoja dėl pozicijos. Jis kovoja dėl supratimo.

O jei dirbtinis intelektas negali lengvai analizuoti, kontekstualizuoti ir pasitikėti jūsų informacija? Jūs ne tik atsiliekate. Jūs dingstate.

Iki pasimatymo, reitingai. Sveiki, paieška.

Senosios paieškos sistemos veikė indeksuodamos dokumentus. Jos saugojo interneto nuotraukas, reitingavo jas pagal autoritetą ir svarbą ir siuntė naudotojus toliau. Generatyvinės sistemos veikia kitaip. Jos iš daugelio šaltinių sukuria sudėtinį atsakymą. Jos ima pavyzdžius, daro išvadas ir sintezuoja. Šiame pasaulyje matomumas nėra susijęs su padėtimi puslapyje. Jis susijęs su tuo, kad mašina, kurianti atsakymą, jį atrenka kaip patikimą medžiagą.

Tai negailestingas pokytis. Turinys, kuris nėra struktūrizuotas, apibendrintas ir lengvai įsisavinamas mašinomis, gali būti laikomas triukšmu. Arba, dar blogiau, apskritai nebus rodomas.

Iš tikrųjų paieška aplenkė reitingavimą. Dauguma svetainių to nepasiekė.

Žmonėms ir mašinoms skirtas žiniatinklis

Šio pokyčio esmė yra tyli problema: svetainės niekada nebuvo skirtos tokiam skaitytojui.

Juose daug "JavaScript", daug išdėstymo vingrybių, jie apsunkinti vartotojo sąsajos puošmenomis, kurios pribloškia žmones, bet glumina analizatorius. Generatyviniam varikliui reikia švarios, struktūrizuotos, patikrinamos informacijos - ir greitai.

Tačiau šiandien nėra jokio vietinio signalo, kuris sakytų: "Štai prasminga dalis. Štai kuo galite pasitikėti."

Šioje tuštumoje atsirado tokios iniciatyvos kaip llms.txt: paprastų žmonių bandymas pasiūlyti mašinoms patogią santrauką svetainės pradžioje. Paprastas "Markdown", be jokių trukdžių, su pavadinimais, santraukomis ir pagrindinėmis nuorodomis. Pastaba praeinančiam dirbtiniam intelektui: štai kas svarbu.

Tuo pat metu atsirado ir ambicingesnių sistemų, pavyzdžiui, "Anthropic" modelio konteksto protokolas (MCP), apibrėžiantis faktinį protokolą, pagal kurį dirbtinio intelekto agentai gali realiuoju laiku užklausinėti tiesioginius, leidimais patvirtintus duomenis iš serverių. MCP nėra spekuliatyvus; jis jau yra priimtas, o "OpenAI" prisijungė prie "Anthropic" ir jį palaiko.

Tikslas aiškus: struktūrizuoti žiniatinklį mašinoms, kurios ne naršo, o bendrauja.

Nuo viltingų užuominų iki oficialių kanalų

Daugeliu atžvilgių llms.txt atspindi ankstyvojo žiniatinklio "pasidaryk pats" dvasią: paprastas pataisymas, įdiegiamas greitai, nelaukiant standartų komitetų. Jame nėra jokio oficialaus patvirtinimo, jokių versijų. Jo sėkmė priklauso nuo geros valios - kad dirbtinio intelekto varikliai jį pastebės, analizuos ir atsižvelgs į jo turinį.

MCP, priešingai, yra sukurtas kaip išsamus protokolas: su versijomis, specifikacijomis ir dokumentais. Jis įsivaizduoja ateitį, kai interneto svetainės, gavusios užklausą, pateikia kontroliuojamus tiesioginės informacijos fragmentus dirbtinio intelekto agentams, nurodant autorystę, formuojant kontekstą ir taikant apsaugos priemones. Užuot iškrapštinėjęs pasenusius puslapius, dirbtinis intelektas galėtų užduoti struktūruotus klausimus struktūruotiems galutiniams taškams.

Tokių bendrovių kaip "Sourcegraph" ir "Block" ("Square") ankstyvieji įgyvendinimo būdai rodo, kaip tai galėtų atrodyti: realiuoju laiku autentifikuotas, bendradarbiaujantis žinių perdavimas tarp svetainių ir generatyvinių sistemų.

Tai nebėra vikšrinis tinklas. Tai tampa pokalbių žiniatinkliu. Tokie protokolai kaip MCP rodo, kad netolimoje ateityje svetainėse bus dvi API: viena skirta žmonėms, kita - mašinoms.

Įtraukimo kaina

Žinoma, yra vienas trūkumas: matomumas per MCP ir susijusias sistemas nėra nemokamas.

Norint atskleisti tiesioginius duomenis, reikia suderinti greitį, saugumą ir prekės ženklo saugumą. Atsiranda naujas rizikos apskaičiavimas: kiek duomenų atskleisti? Kaip užtikrinate, kad jūsų duomenys nebūtų neteisingai cituojami ar netinkamai naudojami? Tokie protokolai kaip MCP leidžia atlikti užklausas, užtikrinti metaduomenų vykdymą ir konteksto priskyrimą, tačiau dalyvavimas vis tiek reikalauja pasitikėjimo, budrumo ir noro pritaikyti savo infrastruktūrą mašinų vartojimui.

Tačiau daugumai svetainių alternatyva yra dar blogesnė - nematomumas.

Jei jūsų informacija nebus lengvai struktūrizuojama, apibendrinama ir surandama, vis dažniau liksite nuošalyje nuo dirbtinio intelekto generuojamų pokalbių - nuo produktų rekomendacijų iki ekspertų citatų.

Naujos rūšies internetinės prezencijos kūrimas

Sėkmė šioje naujoje eroje lydės svetaines, kurios struktūriškai pritaikytos dviem auditorijoms vienu metu.

Jiems bus svarbios mašininio skaitymo santraukos, švari semantinė organizacija, faktų aiškumas ir skaidrios autoritetų žymos. Jie naudosis naujais standartais, tokiais kaip llms.txt ir MCP, ne kaip užduotimis, o kaip svertais.

Įrankiai jau padeda. Tokie sprendimai kaip "Geordy" automatizuoja dirbtinio intelekto optimizuotų struktūrizuotų rezultatų - nuo llms.txt failų iki YAML schemų - generavimą, todėl svetainės gali aktyviai formuoti savo pasakojimą mašinoms, užuot tikėjusios, kad jis bus teisingai interpretuotas.

Nes dirbtinio intelekto žiniatinklyje viltis nėra strategija.

Naujos matomumo sąlygos

Žiniatinklis yra suskaidytas: viena versija skirta žmonėms, kita - mašinoms. Pastarosios taisyklės vis dar kuriamos.

Šiandien struktūrinio dirbtinio intelekto sluoksnio diegimas nėra privalomas. Rytoj tai gali būti privaloma.

Šiame tyliajame protokolų kare laimės ne garsiausi prekių ženklai. Jie bus tie, kurių informacija švariai pateks į mašinų protus, nes jie anksti suprato, kad dirbtinio intelekto žiniatinklyje būti suprantamam yra galingiau nei būti populiariam.