Відкритий алгоритм рекомендацій X: який контент дійсно отримує увагу?

У другій половині дня 20 січня X відкрив вихідний код свого нового алгоритму рекомендацій.

Маск зазначив: «Ми розуміємо, що цей алгоритм недосконалий і потребує серйозних доопрацювань, але ви можете бачити наші реальні зусилля щодо його вдосконалення. Жодна інша соцмережа не наважилася б на таке.»

Його заява містить два меседжі. По-перше, він визнає недоліки алгоритму. По-друге, акцентує на прозорості як конкурентній перевазі.

Це друге відкриття коду алгоритму X. У версії 2023 року не було оновлень три роки, і вона вже не використовувалася у продуктивній системі. Цього разу код повністю переписали. Ядро моделі змінили з класичного машинного навчання на трансформер Grok. За офіційним описом, «ручне створення ознак повністю ліквідовано».

Якщо коротко: раніше алгоритм залежав від ручного налаштування параметрів інженерами. Тепер ШІ напряму аналізує вашу історію взаємодій для визначення просування контенту.

Для авторів це означає, що стратегії типу «оптимальний час публікації» чи «які теги дають приріст підписників» більше не працюватимуть.

Ми також переглянули відкритий репозиторій GitHub і за допомогою ШІ знайшли у коді кілька жорстко закодованих логік, які варто розглянути.

Зміна логіки алгоритму: від ручних правил до ШІ-оцінки

Спершу варто чітко розмежувати стару та нову версію, щоб уникнути плутанини у подальшому аналізі.

У 2023 році відкритий алгоритм Twitter мав назву Heavy Ranker. Це був класичний підхід машинного навчання. Інженери вручну визначали сотні ознак: чи є у пості зображення, кількість підписників автора, давність публікації, наявність посилань тощо.

Кожній ознаці призначали вагу, яку постійно коригували для пошуку найкращої комбінації.

Нова open-source версія має назву Phoenix. Архітектура повністю інша — це алгоритм, що значно більше покладається на великі моделі ШІ. Ядро побудовано на трансформері Grok — тій самій технології, що використовується у ChatGPT та Claude.

У офіційному README прямо сказано: «Ми прибрали всі вручну створені ознаки».

Стара система ручного аналізу ознак контенту повністю відсутня.

Що ж тепер алгоритм використовує для оцінки контенту?

Відповідь: вашу поведінку. Що ви вподобали, кому відповіли, на яких постах затрималися понад дві хвилини, які акаунти заблокували. Phoenix подає ці дії трансформеру, і модель навчається та узагальнює патерни.

Для прикладу: старий алгоритм нагадував ручну оцінювальну таблицю, де за кожну ознаку нараховувалися бали.

Новий — це ШІ, що аналізує всю історію переглядів і прогнозує, що ви захочете побачити наступним.

Для авторів це означає два ключові моменти:

По-перше, тактики на кшталт «кращий час публікації» або «золоті теги» стали майже неактуальними. Модель більше не орієнтується на фіксовані ознаки, а враховує індивідуальні вподобання кожного користувача.

По-друге, просування контенту залежить від «реакцій користувачів на ваш контент». Ці реакції алгоритм перетворює на 15 типів поведінкових прогнозів, які детально розглянемо далі.

Алгоритм прогнозує 15 типів реакцій користувачів

Коли Phoenix оцінює пост для рекомендації, він прогнозує 15 можливих дій користувача:

• Позитивні дії: вподобання, відповідь, репост, цитування репосту, клік на пост, клік на профіль автора, перегляд понад половини відео, розгортання зображення, поширення, затримка на певний час, підписка на автора
• Негативні дії: вибір «не цікаво», блокування автора, вимкнення автора, скарга

Для кожної дії модель прогнозує ймовірність. Наприклад, ймовірність вподобання посту може становити 60 %, а блокування автора — 5 %.

Алгоритм множить кожну ймовірність на відповідну вагу і підсумовує для отримання фінального балу.

Формула виглядає так:

Фінальний бал = Σ (вага × P(дія))

Позитивні дії мають позитивні ваги, негативні — негативні.

Пости з вищим балом піднімаються у стрічці, з нижчим — опускаються.

Тепер «якість» контенту визначає не його внутрішній зміст (хоча читабельність і користь залишаються базовою вимогою для поширення), а «реакції, які він викликає». Алгоритм не аналізує сам контент — він аналізує поведінку користувачів.

Відповідно, у крайніх випадках низькоякісний пост, що викликає багато відповідей, може набрати більше балів, ніж якісний пост без залучення. Це і є логіка системи.

Однак новий відкритий код не розкриває точних ваг для кожної дії, а версія 2023 року це робила.

Референс старої версії: одна скарга = 738 вподобань

Розглянемо дані 2023 року. Хоч вони й застарілі, вони ілюструють підхід алгоритму до різних дій.

5 квітня 2023 року X опублікував набір вагових даних на GitHub.

Ось ці показники:

Простіше кажучи:

Джерело: стара версія GitHub twitter/the-algorithm-ml repository. Переглянути оригінальний алгоритм.

Варто звернути увагу на кілька фактів:

По-перше, вподобання майже не мають значення. Їхня вага — лише 0,5, найнижча серед позитивних дій. Алгоритм майже не враховує вподобання.

По-друге, найважливіше — розмови. «Ви відповідаєте, і автор відповідає вам» має вагу 75 — це у 150 разів більше, ніж вподобання. Двостороння комунікація цінується набагато більше, ніж прості вподобання.

По-третє, негативний фідбек жорстко штрафується. Одне блокування або вимкнення (-74) потребує 148 вподобань для компенсації. Одна скарга (-369) — 738 вподобань. Ці негативні оцінки накопичуються у репутації акаунта і впливають на розповсюдження майбутніх постів.

По-четверте, завершення перегляду відео має надзвичайно низьку вагу — лише 0,005, практично нульову. Це різко контрастує з платформами на кшталт TikTok, де цей показник є ключовим.

У документації також зазначено: «Точні ваги у файлі можна змінювати у будь-який час… Ми періодично коригуємо їх для оптимізації метрик платформи».

Ваги можуть змінюватися у будь-який момент — і це відбувається.

У новій версії немає конкретних значень, але логіка README та сама: позитивні дії додають бали, негативні — віднімають, а фінальний бал — це зважена сума.

Точні цифри змінюються, але відносний порядок, ймовірно, незмінний. Відповідь на коментар цінніша за 100 вподобань. Блокування гірше, ніж відсутність взаємодії.

Що робити авторам з цією інформацією?

Після аналізу коду нової та старої версій алгоритму Twitter можна зробити кілька практичних висновків:

1. Відповідайте коментаторам. У таблиці ваг «відповідь автора на коментар» — найцінніша дія (+75), у 150 разів важливіша за вподобання. Не потрібно штучно стимулювати коментарі, але завжди відповідайте, якщо їх залишають — навіть просте «дякую» враховується алгоритмом.

2. Уникайте ситуацій, коли вас хочуть заблокувати. Одне блокування потребує 148 вподобань для компенсації. Суперечливий контент може підвищити залученість, але якщо це «ця людина дратує, заблокую», репутація акаунта постраждає надовго і вплине на розповсюдження майбутніх постів. Суперечливість — це обоюдогострий меч, обдумуйте свої дії.

3. Зовнішні посилання розміщуйте у коментарях. Алгоритм не хоче, щоб користувачі залишали платформу. Вставка посилань у основний текст карається — Маск підтвердив це публічно. Якщо потрібно залучити трафік, основний контент розміщуйте у пості, а посилання — у першому коментарі.

4. Не спамте. Новий код містить Author Diversity Scorer, який карає за послідовні пости одного автора. Мета — урізноманітнити стрічку користувачів, тому краще розмістити один якісний пост, ніж десять поспіль.

6. Більше немає «найкращого часу для публікації». Старий алгоритм враховував «час публікації» як вручну задану ознаку, але Phoenix це усунув. Phoenix аналізує лише поведінку користувачів, а не час публікації. Тому стратегії типу «вівторок о 15:00» втратили актуальність.

Це те, що можна отримати з коду.

У публічній документації X також є бонусні та штрафні правила, які не містяться у цьому відкритому релізі: верифікація синьою галочкою підвищує охоплення, пости з великими літерами караються, а чутливий контент зменшує охоплення на 80 %. Ці правила не відкриті, тому тут не розглядаються.

Загалом, цей open-source реліз — суттєвий.

Повна архітектура системи, логіка вибору кандидатного контенту, процес оцінки і ранжування, різноманітні фільтри — усе це включено. Код написаний переважно на Rust і Python, має чітку структуру та README, що детальніший за багато комерційних проєктів.

Втім, деякі ключові елементи відсутні.

1. Вагові параметри не публікуються. Код лише пояснює, що «позитивні дії додають бали, негативні — віднімають», але не уточнює, скільки коштує вподобання чи блокування. Версія 2023 року хоча б розкривала числа; цього разу доступна лише формула.

2. Ваги моделі не публікуються. Phoenix використовує трансформер Grok, але параметри моделі не включені. Можна побачити, як викликається модель, але не її внутрішню структуру.

3. Навчальні дані не публікуються. Невідомо, які дані використовувалися для навчання, як вибиралися поведінкові зразки та як формувалися позитивні і негативні вибірки.

Інакше кажучи, цей open-source реліз повідомляє: «Ми використовуємо зважену суму для розрахунку балів», але не розкриває реальні ваги; повідомляє: «Ми використовуємо трансформери для прогнозу поведінкових ймовірностей», але не показує, як виглядає трансформер всередині.

Для порівняння: TikTok і Instagram не розкривали навіть цього. Відкритий реліз X справді ширший, ніж у більшості платформ, але все ще не повністю прозорий.

Це не означає, що відкриття коду не має цінності. Для авторів і дослідників можливість переглянути код — краще, ніж повна відсутність доступу.

Заява:

1. Ця стаття перепублікована з [TechFlow], авторські права належать оригінальному автору [David]. Якщо у вас є питання щодо перепублікації, звертайтеся до команди Gate Learn, і команда оперативно вирішить питання згідно з відповідними процедурами.
2. Відмова від відповідальності: думки і погляди, висловлені у цій статті, належать лише автору і не є інвестиційною порадою.
3. Інші мовні версії цієї статті перекладені командою Gate Learn. Без прямої згадки Gate не копіюйте, не розповсюджуйте і не плагіюйте перекладену статтю.