Web sahifalardagi shovqin: Kontent ajratish nima uchun muhim

Har bir language model webni ikki marta o'qiydi. Birinchisi — training davrida, inson bilimlarining namunalarini o'rganish uchun. Ikkinchisi — foydalanuvchi savol berganda, kerakli ma'lumotni topish uchun. Ikkala holatda ham yashirin muammo bor: kiritilayotgan ma'lumotning katta qismi foydasiz.

Tadqiqotlarga ko'ra, oddiy web sahifaning 70 foizi — boilerplate. Ya'ni navigatsiya menyular, reklama bannerlar, yon panel, cookie habarlari va quyi qismdagi havolalar. Sizga kerakli asosiy kontent? Faqat 30 foiz. Va muhimi shundaki, shu 30 foiz hamma narsani belgilaydi.

Ma'lumot sifati — bu haqiqiy ustunlik

Machine learning jamiyati model arxitektura, parameterlar soni va training usullari ustida bosh qotiradi. Lekin tadqiqotlar ko'rsatishicha, ma'lumotni tayyorlash — bu haqiqiy farq qiluvchi omil bo'lishi mumkin.

2025-yilda Ma va hamkorlari (AICC) qiziqarli tajriba o'tkazdi. Ular bir xil Common Crawl ma'lumotlaridan ikkita training to'plami yaratdi. Yagon farq — ajratish usuli: biri an'anaviy heuristics, ikkinchisi modelga asoslangan yondashuv. Hammasi bir xil edi, faqat ajratish usuli boshqacha.

Model asosida ajratilgan toza ma'lumot bilan o'qitilgan model 13 ta benchmarkda 1.08 foiz ustun keldi. Bundan ham ta'sirli tomoni — shu bitta o'zgarish tufayli FineWeb va RefinedWeb kabi mashhur datasetlarda o'qitilgan modellardan o'tib ketdi.

Bu natija har bir ML jamoasini o'ylantirishi kerak. Hammalar katta modellar o'qitish yoki yangi arxitekturalar sinab ko'rayotganida, eng katta yutuq — oddiygina keraksiz ma'lumotni olib tashlashdan kelishi mumkin.

Inference vaqtidagi muammo

Ma'lumot sifati faqat trainingda emas, inference davrida ham muhim. Shi va hamkorlarining (ICML 2023) tadqiqoti shuni ko'rsatdiki, bitta noto'g'ri parcha butun javobni buzishi mumkin. Qidiruv tizimingiz shovqinli ma'lumot olsa, siz nafaqat hisoblash resurslarini behuda sarflaysiz — javob sifatini ham yomonlashtirasiz.

Bu production tizimlar uchun muammoli holat. RAG (Retrieval-Augmented Generation) tizimlari javoblarni kerakli ma'lumotga asoslashni va'da qiladi, lekin agar qidiruv reklama bannerlar va cookie habarlarini ham olsa, context oynangizga zaharli modda qo'shyapsiz.

Raqamlar achinarli. Turli ajratuvchilar tuzilgan kontentni qanday saqlashini ko'ring. Heuristicsga asoslangan usullar (masalan, Trafilatura) kod bloklari uchun atigi 0.13, matematik formulalar uchun 0.61 o'xshashlik ko'rsatkichi ko'rsatadi. Modelga asoslangan usullar esa 0.91 va 0.94 natija beradi. Hujjattingizda kod misollari yoki texnik belgilar bo'lsa, bu ajratish xatolari training buzilishiga aylanadi.

Arxitektura masalasi: Encoder va Decoder

Hozirgi ajratish usullari ikki guruhga bo'linadi: tuzilma asosidagi va kontent asosidagi.

Tuzilma asosidagi ajratuvchilar (Trafilatura, Readability, Boilerpipe) HTMLni sathli signallar orqali tahlil qiladi — DOM joylashuvi, teg turlari, matn zichligi. Ular tez ishlaydi va ML talab qilmaydi, lekin bir xil ko'rinadigan elementlarni adashtiradi. Navigatsiya jadvali va ma'lumot jadvalining tuzilishi bir xil, shuning uchun bu usullar muvaffaqiyatsiz bo'ladi.

Reading asosidagi ajratuvchilar asl kontentni transformer modellariga beradi. Hozirgi yetakchi — Dripper, decoder arxitekturasidan foydalanadi va har bir token uchun butun modelni xotiradan o'qiydi. Bu usul aniqlikda yaxshi, lekin samaradorlik muammosi bor: tezlik xotira bandligiga bog'liq, hisoblashga emas.

Mana shu yerda Pulpie yangi yondashuvi qiziq. Sequential label chiqaradigan decoder o'rniga, Pulpie encoder ishlatadi va HTML har bir blokni bitta forward passda belgilaydi. Bu bottlenecksni xotira bandligidan toza hisoblashga o'zgartiradi — bu ancha масштабируемый muammo.

Natijalar ta'sirli. NVIDIA L4 GPU da kichik Pulpie modeli soniyasiga 13.7 sahifa qayta ishlaydi, Dripper esa 0.68 sahifa. Bu 20 marta tezroq. Real xarajatlarga o'giradigan bo'lsak: bir milliard sahifani tozalash Pulpie bilan 7,900 dollar, Dripper bilan esa 159,000 dollar turadi.

AI stekingiz uchun nima deydi

AI ilovalari yaratayotgan startup va dasturchilar uchun bu tadqiqot amaliy xulosalar beradi:

Birinchisi, ajratish tizimingizni tekshiring. Agar hali ham heuristics asosidagi ajratuvchilarni training ma'lumotlari yoki RAG pipeline lari uchun ishlatayotgan bo'lsangiz, o'lchanishi mumkin bo'lgan performance yo'qotayapsiz. Yaxshi ajratishning marginal xarajati endi bir yil oldingidan bir necha barobar arzon.

Ikkinchidan, ajratishning arxitekturingizda qayerda turishini o'ylab ko'ring. Ko'p jamoalar web kontentni hal qilingan muammo deb hisoblaydi — sahifani olish, HTMLni olib tashlash, tamom. Lekin modellar murakkablashgan sari, ularning input sifatiga e'tibor muhimroq bo'ladi. Qidiruv tizimiz faqat ajratish qatlami qanchalik yaxshi bo'lsa, shunchalik yaxshi ishlaydi.

Uchinchidan, open-source variantlarni ko'rib chiqing. Pulpie open-source ajratish modellari oilasiga qo'shildi. Sifatli ajratish uchun qimmat proprietary API larni talab qilish davri tugayapti.

Kattaroq manzara

ML jamiyatida ma'lumot sifati haqida fikrlash usulida sekin o'zgarish kuzatmoqdamiz. Yillar davomida assumption shu edi: ko'proq ma'lumot toza ma'lumotdan yaxshiroq. Corpusni kengaytir, asosiy filtratsiyadan o'tkaz, uzoqroq o'qit — signal shovqinni yengadi.

Lekin modellar salohiyatining yangi darajasiga yetganda, bu assumption buziladi. Yuzlab milliard tokenlarda o'qitayotganda, hatto kichik buzilish foizlari sezilarli zararga aylanadi. Inference context chegaralanganida, har bir shovqinli token — foydali tokenni almashtiradi.

Ironiya shundaki, web extraction — HTMLdan asosiy kontentni aniqlash kabi однозначно glamorous bo'lmagan ish — butun ML pipeline ingizdagi eng yuqori leverage interventsiya bo'lishi mumkin. Model performance dagi keyingi breakthroughe ingiz yangi arxitektura emas, balki webni ehtiyotkorlik bilan o'qish bo'lishi mumkin.

Tizza ma'lumot glamour emas. Lekin ajoyib modelni ajoyib qiladigan narsa — aynan shu.