ByteDance, perusahaan induk TikTok, memiliki alat yang memindai web 25 kali lebih cepat dibandingkan OpenAI

ByteDance, perusahaan induk TikTok, mengumpulkan data web dalam jumlah besar lebih cepat dibandingkan perayap web besar lainnya

ByteDance mungkin berencana merilis LLM-nya sendiri, dan secara agresif menggunakan perayap webnya, Bytespider, untuk mengumpulkan data guna melatih modelnya. keberuntungan saya sebutkan.

Bytespider muncul pada bulan April, dan sejak itu, tingkat konsumsinya membuat alat pengikis web dari OpenAI, Google, Meta, dan Anthropic merasa malu.

Sam Crowther, CEO Kasada, sebuah perusahaan manajemen bot, mengatakan kepada outlet bahwa tingkat scraping Bytespider adalah 25 kali lipat dari GPTbot OpenAI dan 3.000 kali lipat dari ClaudeBot, perayap web Anthropic untuk Claude LLM. Crowther juga mengatakan Casada Data telah melihat “lonjakan signifikan dalam aktivitas scraping” dari Bytespider dalam enam minggu terakhir.

Ketika Bytespider dengan rakus menggunakan web, pemerintah AS berusaha memblokir potensi akses data pengguna AS ke pemerintah Tiongkok. Pada bulan April, Presiden Biden menandatangani undang-undang yang melarang TikTok kecuali jika TikTok dijual oleh ByteDance dalam tahun tersebut. Mengingat waktu yang terus berjalan dari ByteDance untuk menjual TikTok, rasa urgensinya sepadan dengan tingginya tingkat aktivitas perayapan web — baik untuk LLM, algoritme yang lebih baik, atau yang lainnya, kami tidak tahu.

Masih harus dilihat apa yang akan dilakukan ByteDance dengan semua data barunya. Namun TikTok telah meluncurkan beberapa fitur bertenaga AI untuk platform tersebut. Pada bulan Mei, mereka mengumumkan serangkaian alat bagi pengiklan untuk membuat iklan yang dihasilkan AI dan avatar yang dihasilkan AI untuk merek dan pembuat konten. TikTok juga dikabarkan sedang mengerjakan mesin pencari internal, dengan hasil yang didukung AI – kemungkinan menggunakan ChatGPT.