Как проверить, что радар тем даёт вам фору

Как проверить, что радар тем даёт вам фору

user avatar

от me1afon

18 minutes ago


Инструменты ИИ помогли собрать исследование, выгрузить публичные записи для примера и написать первый черновик этой статьи. Я отредактировал текст и сверил каждую цифру и цитату со страницей-источником из списка в конце. Обложка создана ИИ. Подробности в конце статьи.

Радар тем — это любая рутина, которая сообщает «людей начинает это интересовать» раньше, чем тема стала очевидной: наблюдение за поисковыми трендами, обсуждениями на форумах, ростом репозиториев или вопросами в вашей собственной почте. В прошлых частях серии мы разбирали, что такие сигналы измеряют и как вводят в заблуждение. Эта часть задаёт следующий вопрос: как убедиться, что радар действительно замечает интерес раньше, чем вы заметили бы его и без радара?

Обычный ответ — оглянуться на темы, которые стали большими, и увидеть, что радар «предвидел их появление». Такая проверка не может провалиться. Мы помним только темы, которые выстрелили, а тревоги, не приведшие ни к чему, и темы, которые радар так и не отметил, забываются. Честная проверка устроена так, чтобы она могла закончиться плохо.

Ниже — короткий метод, а затем небольшой рабочий пример на реальных датированных публичных записях. Он показывает, как получаются числа и где они искажаются. Это не измерение того, насколько хорош какой-либо радар.

Почему «он это предвидел» мало что доказывает

Google Flu Trends — самая известная поучительная история. Как рассказывалось в части 1, сервис строили на поисковых запросах, подобранных под официальную статистику гриппа. Дэвид Лазер с коллегами в статье 2014 года в журнале Science описывают метод как поиск «лучших совпадений среди 50 миллионов поисковых запросов для подгонки 1152 точек данных» и заключают, что ранняя версия была «отчасти детектором гриппа, отчасти детектором зимы» [5]. Они же сообщают, что с 21 августа 2011 по 1 сентября 2013 года сервис завышал распространённость гриппа «в 100 неделях из 108» [5]. Сигнал, хорошо подогнанный под прошлое, всё равно может подвести в будущем, и чем больше сигналов-кандидатов перебираешь, тем проще найти тот, что подошёл.

Радар, настроенный задним числом, страдает тем же в более мягкой форме. Если выбирать сигнал, порог и событие успеха, глядя на ответы, вы найдёте сочетание, которое «сработало». Отсюда три привычки:

  • Решайте, как будет устроена проверка, до того, как увидите результаты, и записывайте это с датой.
  • Включайте темы, которые не выстрелили. Список победителей даёт попадания, но никогда не даёт ложных тревог.
  • Оценивайте радар и по тому, чего он стоит, а не только по тому, что ловит. Тревога, которая срабатывает на всё, раньше срока и бесполезна.

Четыре вещи, которые нужно зафиксировать до просмотра

Выбор На какой вопрос отвечает Пример
Сигнал За чем мы следим? Истории на Hacker News с названием темы в заголовке
Правило тревоги Когда радар говорит «сейчас»? Третья история с 20 и более баллами
Веха и срок Что считать моментом, когда «интерес стал очевидным», и к какому сроку? Статья о теме появилась в английской Википедии в пределах заранее заданного числа месяцев
Список кандидатов На каких темах запускаем проверку? Названия, записанные до того, как найдены какие-либо даты, и дополнения потом не допускаются

Веху чаще всего выбирают наспех. Это должно быть событие с датой, которую можно найти и на которую вы не повлияли. «Тема стала большой» — не дата. Первая публикация в издании, страница в энциклопедии, запуск продукта или превышение заданного уровня в публичной метрике — всё это подходит, если определено заранее.

Считайте три величины, а не одну

Упреждение — это интервал между тревогой и вехой. Это главное число, но у него должны быть два спутника. У верификации прогнозов — области, где проверяют погодные и подобные предсказания, — для них есть названия [4]:

  • Доля попаданий (вероятность обнаружения): «Какая доля наблюдавшихся событий „да“ была верно спрогнозирована?» Применительно к радару: из тем, дошедших до вехи, у скольких тревога прозвучала раньше.
  • Доля ложных тревог: «Какая доля предсказанных событий „да“ на самом деле не наступила (то есть была ложной тревогой)?» Из всех тревог — сколько так и не дошли до вехи.
  • Упреждение для попаданий, с разбросом, а не только среднее.

В руководстве по верификации добавлено, что доля ложных тревог не учитывает пропуски и её нужно использовать вместе с долей попаданий [4]. Радар может добиться идеальной доли попаданий, срабатывая на всё; доля ложных тревог это выдаёт.

Рабочий пример на реальных записях

Данные выгружены 18 ноября 2026 года из двух публичных источников, скрипты хранятся рядом с исследовательскими заметками к статье. Правила были зафиксированы до первого запуска.

  • Сигнал: истории, опубликованные на Hacker News, с не менее чем 20 баллами и названием темы в заголовке, найденные через публичный поисковый API Hacker News [1].
  • Правило тревоги A: день публикации третьей такой истории. Правило B, более мягкое: день публикации первой такой истории.
  • Веха: первая правка в истории страницы действующей статьи о теме в английской Википедии, прочитанная через API MediaWiki [2]. Это замена для «тема признана достаточно устоявшейся, чтобы получить статью в энциклопедии». Это заменитель с известными проблемами, о них ниже.
  • Список кандидатов: 19 названий ИИ-инструментов и идей, которые обсуждались на Hacker News в 2022–2025 годах; их выбрал ИИ-ассистент по исследованию по общему знанию области, а не взял из нейтрального списка. Двенадцать были записаны до первого поиска. Ещё семь добавили после первого запуска — это изъян: список не был заморожен. Одно название, Rust, отложили, когда обнаружилась дата его статьи (2010). Остаётся 18 названий. Без семи поздних добавлений у более мягкого правила B было бы 3 ложные тревоги из 11 (27%) против 20% у правила A, так что размер контраста ниже частично зависит от этой поздней партии.

Из восемнадцати семь сработали по правилу A и имеют чётко датированную статью в Википедии, поэтому для них можно посчитать упреждение:

Тема Тревога по правилу A Статья в Википедии Упреждение, правило A Упреждение, правило B
Stable Diffusion 26 авг 2022 31 авг 2022 5 дней 21 день
LangChain 2 фев 2023 18 апр 2023 75 дней 90 дней
llama.cpp 15 мар 2023 13 мая 2024 425 дней 430 дней
AutoGPT 13 апр 2023 16 апр 2023 3 дня 14 дней
Ollama 26 сен 2023 29 апр 2026 946 дней 1014 дней
Model Context Protocol 29 янв 2025 14 апр 2025 75 дней 140 дней
Vibe coding 1 мар 2025 3 мар 2025 2 дня 28 дней

При беглом чтении это успех: радар срабатывал первым семь раз из семи, медианное упреждение по правилу A — 75 дней. При внимательном чтении выводов гораздо меньше.

График упреждения с датами: для семи тем — число дней между тревогой на Hacker News и действующей статьёй в английской Википедии по строгому правилу A и более мягкому правилу B. Три из семи упреждений по правилу A составляют 5 дней или меньше; у llama.cpp и Ollama больше года.

Упреждение зависит от вехи сильнее, чем от радара

Три упреждения — пять дней и меньше. Для Stable Diffusion, AutoGPT и vibe coding статья в энциклопедии появилась почти сразу за обсуждением, и автор не смог бы воспользоваться такой форой. Два упреждения превышают год, потому что статьи о llama.cpp и Ollama появились намного позже того, как об инструментах заговорили все. Тот же радар, то же правило, разброс от 2 до 946 дней. Большая часть этого разброса, вероятно, отражает скорость реакции редакторов Википедии, а не качество работы радара.

Сама веха тоже непрочная. Журналы Википедии показывают, что несколько статей сначала создавали, а затем убирали из основного пространства [3], потому что редактор счёл их не готовыми, и что раньше существовали черновики в пространстве черновиков: Draft:Llama.cpp с апреля 2024 года, Draft:Ollama с июля 2024 года и Draft:Model Context Protocol со 2 января 2025 года, то есть до тревоги по правилу A от 29 января 2025 года. Если считать черновики, Model Context Protocol вообще не был бы попаданием. В таблице учтена только нынешняя страница статьи. Для Model Context Protocol первая попытка в основном пространстве, 10 апреля 2025 года, в тот же день была перенесена в пространство черновиков с пометкой «нужно больше источников», а статья вернулась 14 апреля [2]. Для Ollama первая попытка в основном пространстве, 6 августа 2025 года, была перенесена в черновики за 19 минут, а нынешняя страница создана 29 апреля 2026 года. Если считать первую попытку, упреждение у Ollama — 680 дней, а не 946. Для llama.cpp первая попытка в основном пространстве, 13 мая 2024 года, была перенесена в черновики на следующий день, при этом существующая сейчас история страницы начинается с этой даты. Выберите правило заранее и скажите, какое использовали.

Мягкое правило находит больше и ошибается чаще

По правилу A сработали десять из восемнадцати названий. У восьми из них есть статья в английской Википедии (семь выше плюс LlamaIndex, у которой в истории страницы нет чёткой даты создания, поэтому в таблицу она не попала). У двух статьи нет: у GPT4All нет статьи с таким названием, а страница vLLM — перенаправление на раздел статьи об архитектуре трансформера. Выходит, на этом списке для правила A попаданий восемь, ложных тревог две. Доля ложных тревог — 2 из 10, или 20%.

По более мягкому правилу B сработали все восемнадцать названий, потому что у каждого нашлась хотя бы одна история с 20 баллами. Попаданий у правила B тоже восемь, но ложных тревог уже десять: доля ложных тревог — 10 из 18, около 56%. Взамен упреждения длиннее — на 5–68 дней для семи датированных тем. Более ранняя тревога возникает у правила с «лёгким спуском», а цена — ложные тревоги. Если не считать ложные тревоги, правило B выглядело бы строго лучше.

Два правила тревоги, оценённые на одних и тех же 18 названиях: правило A (третья подходящая история) сработало 10 раз — 8 попаданий и 2 ложные тревоги; правило B (первая подходящая история) сработало 18 раз — 8 попаданий и 10 ложных тревог. Пропусков не найдено, но список не был нейтральным, поэтому пропуски измерить не удалось.

Две ложные тревоги показывают и то, как может подвести заменитель вехи. vLLM широко используют, и с 2023 года о нём было 18 подходящих историй на Hacker News, но «нет отдельной статьи в Википедии» не значит «нет реального интереса». Попадание или ложная тревога настолько хороши, насколько хороша выбранная вами веха.

Чего этот пример не может сказать

  • Пропуски не измерены. Пропуск — это тема, которая стала большой, а радар её не отметил. Список кандидатов составили по общему знанию области, а тема, о которой вы можете вспомнить, уже замечена. Честный результат — «пропусков не найдено», а не «пропусков нет».
  • Список маленький и подобранный. Восемнадцать названий, все об ИИ-инструментах, выбранные ИИ-ассистентом по исследованию по общему знанию области. Цифры описывают этот список. О том, как похожий радар сработает на другой теме, они ничего не говорят.
  • Срока не было. Ollama считается попаданием спустя 946 дней. При годовом лимите llama.cpp и Ollama попаданиями не были бы, а совсем свежие тревоги пока оценить нельзя. В настоящей проверке срок называют заранее.
  • Один сигнал, одна площадка, один язык. Hacker News — форум разработчиков, веха — английская Википедия, а баллы — на момент запроса.
  • Пороги — не рекомендации. Числа 3 и 20 зафиксированы один раз, до первого запуска, как пример письменного правила.
  • Данные берутся из живых сервисов. Баллы, заголовки и истории страниц могут измениться. Приведённые даты — те, что вернулись 18 ноября 2026 года.
  • Нет сравнения с тем, что вы заметили бы и так. Пример не показывает, что человек, ежедневно читающий Hacker News, отстал бы от правила.

Проверка, которую можно провести на вашем радаре

Это рабочий метод, выведенный из перечисленных источников, а не испытанная модель.

  1. Запишите сигнал, правило тревоги и веху с датой. Определите, что считать «упоминанием» или «всплеском», задайте срок для вехи и не меняйте ни одно число после первого запуска.
  2. Составьте список кандидатов из источника, который не знает исхода: все позиции из заданного списка за период или все названия из ваших заметок на прошлую дату, а не темы, которые вы помните. Оставьте те, что ни к чему не привели.
  3. Примените правило и запишите дату тревоги для каждой позиции. Используйте только заявленное правило. Если позиция так и не сработала, отметьте «тревоги нет».
  4. Найдите дату вехи по записи, которую можно открыть повторно, например по истории страницы, журналу релизов или дате публикации. Отметьте, как вы обошлись с черновиками и переименованными страницами.
  5. Посчитайте и сравните. Попадания, ложные тревоги, пропуски и упреждение для каждого попадания, с самым коротким и самым длинным. Сообщайте диапазон вместе со средним значением.
  6. Попробуйте более ленивые варианты. Более мягкую версию правила, более строгую и простой базовый вариант вроде «тревога на первое упоминание». Если у мягкого правила те же попадания и более длинное упреждение, решают ложные тревоги, как выше.
  7. Запустите проверку вперёд. Ретроспективный набор — лишь начало. Ведите датированный журнал тревог, начиная с сегодняшнего дня, и проверяйте его в зафиксированную более позднюю дату. Проверку, ответа которой вы не видели, нельзя приукрасить задним числом, и урок о подогнанных сигналах снова действует [5].

Если радар проходит проверку, у вас есть измеренное утверждение: «по этому правилу он срабатывал раньше вехи в такой-то доле случаев, при таком-то числе ложных тревог». Это скромнее, чем «он работает», и полезнее.

Как создавалась эта статья

Задача Что сделал ИИ Что сделал человек Как проверялось
Исследование Собрал источники по верификации прогнозов, прогнозированию по поисковым данным и истории страниц Википедии в исследовательские заметки; выполнил запросы к поисковому API Hacker News и API MediaWiki и посчитал упреждения Выбрал вопрос и утвердил план; правила и веху ИИ предложил до первого запуска. Список кандидатов предложен двумя партиями, вторая — после первого запуска (см. пример) Цитаты сверены со страницами и статьями [3]–[5]; даты сопоставлены с исходными результатами запросов и журналами страниц [1][2][6]
Черновик Написал первый черновик по заметкам и результатам Отредактировал текст, метод и ограничения Отдельная проверка сопоставила цифры и утверждения с источниками и исходными результатами
Изображения Сгенерировал обложку в стиле супрематизма (из библиотеки обложек Dapp.Expert) Выбрал иллюстрацию; разработал поясняющие диаграммы по значениям из таблицы Помечено как созданное ИИ в строке раскрытия и в альтернативном тексте
Не делал ИИ — Решение о публикации и ответственность за текст —

Конфликт интересов: нет. У автора нет коммерческих отношений с Y Combinator, Algolia, Фондом Викимедиа, проектами из примера и цитируемыми исследователями.

Ответственный за статью: Дмитрий Ластовка, автор. Исправления: форма обратной связи.

Источники

Пометки: официальный (собственная страница организации), статья (исследование, прочитанное по полному тексту у авторов), записи (публичные данные, запрошенные для этой статьи).

  1. Hacker News Search, Algolia, публичный поисковый API (конечная точка search_by_date, с запросом по заголовку истории, tags=story и numericFilters=points>=20). https://hn.algolia.com/api Записи. Страница документации требует JavaScript; запросы выполнены к конечной точке 18 ноября 2026 года.
  2. MediaWiki, «API:Logevents» и Action API английской Википедии (правки страниц и журналы создания, переносов и удалений). https://www.mediawiki.org/wiki/API:Logevents Официальный.
  3. Википедия, «Wikipedia:Drafts» (перенос статьи, не готовой для основного пространства имён, в пространство черновиков). https://en.wikipedia.org/wiki/Wikipedia:Drafts Официальный.
  4. WWRP/WGNE Joint Working Group on Forecast Verification Research, «Forecast verification: issues, methods and FAQ» (вероятность обнаружения и доля ложных тревог). https://jwgfvr.github.io/forecastverification/ Официальный.
  5. David Lazer, Ryan Kennedy, Gary King, Alessandro Vespignani, «The Parable of Google Flu: Traps in Big Data Analysis», Science 343, 1203–1205 (14 марта 2014). https://doi.org/10.1126/science.1248506 Статья, полный текст по копии авторов.
  6. Истории страниц и журналы английской Википедии (включая страницы Draft:) для Stable Diffusion, LangChain, Llama.cpp, AutoGPT, Ollama, Model Context Protocol, Vibe coding, LlamaIndex, GPT4All и VLLM (например, https://en.wikipedia.org/w/index.php?title=Ollama&action=history). Записи.

Тир I

Сектор: #18291

Запечатанная комната тайников

Resource Cache

Resource Cache

Тир I

Нужно 25% прогресса тира
Meme Cache

Meme Cache

Тир I

Нужно 50% прогресса тира
Equipment Cache

Equipment Cache

Тир I

Нужно 75% прогресса тира

После получения тайники попадут в инвентарь — открыть их можно ключами.

Другие статьи

Как построить редакционную карту по вопросам игроков

Куча вопросов игроков — ещё не редакционный план. Как превратить её в карту: кто спрашивает, какую задачу решает вопрос и какой материал на него отвечает.

user avatarme1afon

Кого не хватает в вашем исследовании аудитории?

Публичные обсуждения, тренды и аналитика показывают тех, кто высказался, искал или кликнул. Кого упускает каждый источник и как записать, чего данные не видят.

user avatarme1afon

Когда сигналы популярности у разработчиков вводят в заблуждение

Звёзды GitHub, скачивания пакетов и вопросы на Stack Overflow считают закладки, запросы файлов и визиты, а не интерес. Что считает каждое число и как проверить.

user avatarme1afon

Как совместить публичные тренды и собственные поисковые данные

Trends показывает, как ищет рынок, Search Console — запросы к вашему сайту. Чем различаются числа, как честно их совместить и что писать дальше.

user avatarme1afon

Какими инструментами аналитики соцсетей можно реально пользоваться

Пять условий доступа к аналитике: аккаунт, тариф, сеть, история, доступ. Что открывают X, LinkedIn и Telegram и где кончаются бесплатные тарифы пяти сервисов.

user avatarme1afon

Как читать разговор за счётчиками вовлечённости

Счётчик ответов не говорит, что в них написано. Где в X, LinkedIn и Telegram лежит разговор и как разобрать отклики по шести видам, чтобы выбрать тему дальше.

user avatarme1afon

Важное примечание: Информация, представленная на портале Dapp.Expert, предназначена исключительно для ознакомительных целей и не является рекомендацией к инвестициям или руководством к действию. Команда Dapp.Expert не несет ответственности за возможные убытки или упущенную выгоду, связанные с использованием материалов, опубликованных на сайте. Перед принятием инвестиционных решений рекомендуем проконсультироваться с квалифицированным финансовым советником.