Инструменты ИИ помогли собрать исследование, выгрузить публичные записи для примера и написать первый черновик этой статьи. Я отредактировал текст и сверил каждую цифру и цитату со страницей-источником из списка в конце. Обложка создана ИИ. Подробности в конце статьи.
Радар тем — это любая рутина, которая сообщает «людей начинает это интересовать» раньше, чем тема стала очевидной: наблюдение за поисковыми трендами, обсуждениями на форумах, ростом репозиториев или вопросами в вашей собственной почте. В прошлых частях серии мы разбирали, что такие сигналы измеряют и как вводят в заблуждение. Эта часть задаёт следующий вопрос: как убедиться, что радар действительно замечает интерес раньше, чем вы заметили бы его и без радара?
Обычный ответ — оглянуться на темы, которые стали большими, и увидеть, что радар «предвидел их появление». Такая проверка не может провалиться. Мы помним только темы, которые выстрелили, а тревоги, не приведшие ни к чему, и темы, которые радар так и не отметил, забываются. Честная проверка устроена так, чтобы она могла закончиться плохо.
Ниже — короткий метод, а затем небольшой рабочий пример на реальных датированных публичных записях. Он показывает, как получаются числа и где они искажаются. Это не измерение того, насколько хорош какой-либо радар.
Почему «он это предвидел» мало что доказывает
Google Flu Trends — самая известная поучительная история. Как рассказывалось в части 1, сервис строили на поисковых запросах, подобранных под официальную статистику гриппа. Дэвид Лазер с коллегами в статье 2014 года в журнале Science описывают метод как поиск «лучших совпадений среди 50 миллионов поисковых запросов для подгонки 1152 точек данных» и заключают, что ранняя версия была «отчасти детектором гриппа, отчасти детектором зимы» [5]. Они же сообщают, что с 21 августа 2011 по 1 сентября 2013 года сервис завышал распространённость гриппа «в 100 неделях из 108» [5]. Сигнал, хорошо подогнанный под прошлое, всё равно может подвести в будущем, и чем больше сигналов-кандидатов перебираешь, тем проще найти тот, что подошёл.
Радар, настроенный задним числом, страдает тем же в более мягкой форме. Если выбирать сигнал, порог и событие успеха, глядя на ответы, вы найдёте сочетание, которое «сработало». Отсюда три привычки:
- Решайте, как будет устроена проверка, до того, как увидите результаты, и записывайте это с датой.
- Включайте темы, которые не выстрелили. Список победителей даёт попадания, но никогда не даёт ложных тревог.
- Оценивайте радар и по тому, чего он стоит, а не только по тому, что ловит. Тревога, которая срабатывает на всё, раньше срока и бесполезна.
Четыре вещи, которые нужно зафиксировать до просмотра
| Выбор | На какой вопрос отвечает | Пример |
|---|---|---|
| Сигнал | За чем мы следим? | Истории на Hacker News с названием темы в заголовке |
| Правило тревоги | Когда радар говорит «сейчас»? | Третья история с 20 и более баллами |
| Веха и срок | Что считать моментом, когда «интерес стал очевидным», и к какому сроку? | Статья о теме появилась в английской Википедии в пределах заранее заданного числа месяцев |
| Список кандидатов | На каких темах запускаем проверку? | Названия, записанные до того, как найдены какие-либо даты, и дополнения потом не допускаются |
Веху чаще всего выбирают наспех. Это должно быть событие с датой, которую можно найти и на которую вы не повлияли. «Тема стала большой» — не дата. Первая публикация в издании, страница в энциклопедии, запуск продукта или превышение заданного уровня в публичной метрике — всё это подходит, если определено заранее.
Считайте три величины, а не одну
Упреждение — это интервал между тревогой и вехой. Это главное число, но у него должны быть два спутника. У верификации прогнозов — области, где проверяют погодные и подобные предсказания, — для них есть названия [4]:
- Доля попаданий (вероятность обнаружения): «Какая доля наблюдавшихся событий „да“ была верно спрогнозирована?» Применительно к радару: из тем, дошедших до вехи, у скольких тревога прозвучала раньше.
- Доля ложных тревог: «Какая доля предсказанных событий „да“ на самом деле не наступила (то есть была ложной тревогой)?» Из всех тревог — сколько так и не дошли до вехи.
- Упреждение для попаданий, с разбросом, а не только среднее.
В руководстве по верификации добавлено, что доля ложных тревог не учитывает пропуски и её нужно использовать вместе с долей попаданий [4]. Радар может добиться идеальной доли попаданий, срабатывая на всё; доля ложных тревог это выдаёт.
Рабочий пример на реальных записях
Данные выгружены 18 ноября 2026 года из двух публичных источников, скрипты хранятся рядом с исследовательскими заметками к статье. Правила были зафиксированы до первого запуска.
- Сигнал: истории, опубликованные на Hacker News, с не менее чем 20 баллами и названием темы в заголовке, найденные через публичный поисковый API Hacker News [1].
- Правило тревоги A: день публикации третьей такой истории. Правило B, более мягкое: день публикации первой такой истории.
- Веха: первая правка в истории страницы действующей статьи о теме в английской Википедии, прочитанная через API MediaWiki [2]. Это замена для «тема признана достаточно устоявшейся, чтобы получить статью в энциклопедии». Это заменитель с известными проблемами, о них ниже.
- Список кандидатов: 19 названий ИИ-инструментов и идей, которые обсуждались на Hacker News в 2022–2025 годах; их выбрал ИИ-ассистент по исследованию по общему знанию области, а не взял из нейтрального списка. Двенадцать были записаны до первого поиска. Ещё семь добавили после первого запуска — это изъян: список не был заморожен. Одно название, Rust, отложили, когда обнаружилась дата его статьи (2010). Остаётся 18 названий. Без семи поздних добавлений у более мягкого правила B было бы 3 ложные тревоги из 11 (27%) против 20% у правила A, так что размер контраста ниже частично зависит от этой поздней партии.
Из восемнадцати семь сработали по правилу A и имеют чётко датированную статью в Википедии, поэтому для них можно посчитать упреждение:
| Тема | Тревога по правилу A | Статья в Википедии | Упреждение, правило A | Упреждение, правило B |
|---|---|---|---|---|
| Stable Diffusion | 26 авг 2022 | 31 авг 2022 | 5 дней | 21 день |
| LangChain | 2 фев 2023 | 18 апр 2023 | 75 дней | 90 дней |
| llama.cpp | 15 мар 2023 | 13 мая 2024 | 425 дней | 430 дней |
| AutoGPT | 13 апр 2023 | 16 апр 2023 | 3 дня | 14 дней |
| Ollama | 26 сен 2023 | 29 апр 2026 | 946 дней | 1014 дней |
| Model Context Protocol | 29 янв 2025 | 14 апр 2025 | 75 дней | 140 дней |
| Vibe coding | 1 мар 2025 | 3 мар 2025 | 2 дня | 28 дней |
При беглом чтении это успех: радар срабатывал первым семь раз из семи, медианное упреждение по правилу A — 75 дней. При внимательном чтении выводов гораздо меньше.

Упреждение зависит от вехи сильнее, чем от радара
Три упреждения — пять дней и меньше. Для Stable Diffusion, AutoGPT и vibe coding статья в энциклопедии появилась почти сразу за обсуждением, и автор не смог бы воспользоваться такой форой. Два упреждения превышают год, потому что статьи о llama.cpp и Ollama появились намного позже того, как об инструментах заговорили все. Тот же радар, то же правило, разброс от 2 до 946 дней. Большая часть этого разброса, вероятно, отражает скорость реакции редакторов Википедии, а не качество работы радара.
Сама веха тоже непрочная. Журналы Википедии показывают, что несколько статей сначала создавали, а затем убирали из основного пространства [3], потому что редактор счёл их не готовыми, и что раньше существовали черновики в пространстве черновиков: Draft:Llama.cpp с апреля 2024 года, Draft:Ollama с июля 2024 года и Draft:Model Context Protocol со 2 января 2025 года, то есть до тревоги по правилу A от 29 января 2025 года. Если считать черновики, Model Context Protocol вообще не был бы попаданием. В таблице учтена только нынешняя страница статьи. Для Model Context Protocol первая попытка в основном пространстве, 10 апреля 2025 года, в тот же день была перенесена в пространство черновиков с пометкой «нужно больше источников», а статья вернулась 14 апреля [2]. Для Ollama первая попытка в основном пространстве, 6 августа 2025 года, была перенесена в черновики за 19 минут, а нынешняя страница создана 29 апреля 2026 года. Если считать первую попытку, упреждение у Ollama — 680 дней, а не 946. Для llama.cpp первая попытка в основном пространстве, 13 мая 2024 года, была перенесена в черновики на следующий день, при этом существующая сейчас история страницы начинается с этой даты. Выберите правило заранее и скажите, какое использовали.
Мягкое правило находит больше и ошибается чаще
По правилу A сработали десять из восемнадцати названий. У восьми из них есть статья в английской Википедии (семь выше плюс LlamaIndex, у которой в истории страницы нет чёткой даты создания, поэтому в таблицу она не попала). У двух статьи нет: у GPT4All нет статьи с таким названием, а страница vLLM — перенаправление на раздел статьи об архитектуре трансформера. Выходит, на этом списке для правила A попаданий восемь, ложных тревог две. Доля ложных тревог — 2 из 10, или 20%.
По более мягкому правилу B сработали все восемнадцать названий, потому что у каждого нашлась хотя бы одна история с 20 баллами. Попаданий у правила B тоже восемь, но ложных тревог уже десять: доля ложных тревог — 10 из 18, около 56%. Взамен упреждения длиннее — на 5–68 дней для семи датированных тем. Более ранняя тревога возникает у правила с «лёгким спуском», а цена — ложные тревоги. Если не считать ложные тревоги, правило B выглядело бы строго лучше.

Две ложные тревоги показывают и то, как может подвести заменитель вехи. vLLM широко используют, и с 2023 года о нём было 18 подходящих историй на Hacker News, но «нет отдельной статьи в Википедии» не значит «нет реального интереса». Попадание или ложная тревога настолько хороши, насколько хороша выбранная вами веха.
Чего этот пример не может сказать
- Пропуски не измерены. Пропуск — это тема, которая стала большой, а радар её не отметил. Список кандидатов составили по общему знанию области, а тема, о которой вы можете вспомнить, уже замечена. Честный результат — «пропусков не найдено», а не «пропусков нет».
- Список маленький и подобранный. Восемнадцать названий, все об ИИ-инструментах, выбранные ИИ-ассистентом по исследованию по общему знанию области. Цифры описывают этот список. О том, как похожий радар сработает на другой теме, они ничего не говорят.
- Срока не было. Ollama считается попаданием спустя 946 дней. При годовом лимите llama.cpp и Ollama попаданиями не были бы, а совсем свежие тревоги пока оценить нельзя. В настоящей проверке срок называют заранее.
- Один сигнал, одна площадка, один язык. Hacker News — форум разработчиков, веха — английская Википедия, а баллы — на момент запроса.
- Пороги — не рекомендации. Числа 3 и 20 зафиксированы один раз, до первого запуска, как пример письменного правила.
- Данные берутся из живых сервисов. Баллы, заголовки и истории страниц могут измениться. Приведённые даты — те, что вернулись 18 ноября 2026 года.
- Нет сравнения с тем, что вы заметили бы и так. Пример не показывает, что человек, ежедневно читающий Hacker News, отстал бы от правила.
Проверка, которую можно провести на вашем радаре
Это рабочий метод, выведенный из перечисленных источников, а не испытанная модель.
- Запишите сигнал, правило тревоги и веху с датой. Определите, что считать «упоминанием» или «всплеском», задайте срок для вехи и не меняйте ни одно число после первого запуска.
- Составьте список кандидатов из источника, который не знает исхода: все позиции из заданного списка за период или все названия из ваших заметок на прошлую дату, а не темы, которые вы помните. Оставьте те, что ни к чему не привели.
- Примените правило и запишите дату тревоги для каждой позиции. Используйте только заявленное правило. Если позиция так и не сработала, отметьте «тревоги нет».
- Найдите дату вехи по записи, которую можно открыть повторно, например по истории страницы, журналу релизов или дате публикации. Отметьте, как вы обошлись с черновиками и переименованными страницами.
- Посчитайте и сравните. Попадания, ложные тревоги, пропуски и упреждение для каждого попадания, с самым коротким и самым длинным. Сообщайте диапазон вместе со средним значением.
- Попробуйте более ленивые варианты. Более мягкую версию правила, более строгую и простой базовый вариант вроде «тревога на первое упоминание». Если у мягкого правила те же попадания и более длинное упреждение, решают ложные тревоги, как выше.
- Запустите проверку вперёд. Ретроспективный набор — лишь начало. Ведите датированный журнал тревог, начиная с сегодняшнего дня, и проверяйте его в зафиксированную более позднюю дату. Проверку, ответа которой вы не видели, нельзя приукрасить задним числом, и урок о подогнанных сигналах снова действует [5].
Если радар проходит проверку, у вас есть измеренное утверждение: «по этому правилу он срабатывал раньше вехи в такой-то доле случаев, при таком-то числе ложных тревог». Это скромнее, чем «он работает», и полезнее.
Как создавалась эта статья
| Задача | Что сделал ИИ | Что сделал человек | Как проверялось |
|---|---|---|---|
| Исследование | Собрал источники по верификации прогнозов, прогнозированию по поисковым данным и истории страниц Википедии в исследовательские заметки; выполнил запросы к поисковому API Hacker News и API MediaWiki и посчитал упреждения | Выбрал вопрос и утвердил план; правила и веху ИИ предложил до первого запуска. Список кандидатов предложен двумя партиями, вторая — после первого запуска (см. пример) | Цитаты сверены со страницами и статьями [3]–[5]; даты сопоставлены с исходными результатами запросов и журналами страниц [1][2][6] |
| Черновик | Написал первый черновик по заметкам и результатам | Отредактировал текст, метод и ограничения | Отдельная проверка сопоставила цифры и утверждения с источниками и исходными результатами |
| Изображения | Сгенерировал обложку в стиле супрематизма (из библиотеки обложек Dapp.Expert) | Выбрал иллюстрацию; разработал поясняющие диаграммы по значениям из таблицы | Помечено как созданное ИИ в строке раскрытия и в альтернативном тексте |
| Не делал ИИ | — | Решение о публикации и ответственность за текст | — |
Конфликт интересов: нет. У автора нет коммерческих отношений с Y Combinator, Algolia, Фондом Викимедиа, проектами из примера и цитируемыми исследователями.
Ответственный за статью: Дмитрий Ластовка, автор. Исправления: форма обратной связи.
Источники
Пометки: официальный (собственная страница организации), статья (исследование, прочитанное по полному тексту у авторов), записи (публичные данные, запрошенные для этой статьи).
- Hacker News Search, Algolia, публичный поисковый API (конечная точка search_by_date, с запросом по заголовку истории, tags=story и numericFilters=points>=20). https://hn.algolia.com/api Записи. Страница документации требует JavaScript; запросы выполнены к конечной точке 18 ноября 2026 года.
- MediaWiki, «API:Logevents» и Action API английской Википедии (правки страниц и журналы создания, переносов и удалений). https://www.mediawiki.org/wiki/API:Logevents Официальный.
- Википедия, «Wikipedia:Drafts» (перенос статьи, не готовой для основного пространства имён, в пространство черновиков). https://en.wikipedia.org/wiki/Wikipedia:Drafts Официальный.
- WWRP/WGNE Joint Working Group on Forecast Verification Research, «Forecast verification: issues, methods and FAQ» (вероятность обнаружения и доля ложных тревог). https://jwgfvr.github.io/forecastverification/ Официальный.
- David Lazer, Ryan Kennedy, Gary King, Alessandro Vespignani, «The Parable of Google Flu: Traps in Big Data Analysis», Science 343, 1203–1205 (14 марта 2014). https://doi.org/10.1126/science.1248506 Статья, полный текст по копии авторов.
- Истории страниц и журналы английской Википедии (включая страницы Draft:) для Stable Diffusion, LangChain, Llama.cpp, AutoGPT, Ollama, Model Context Protocol, Vibe coding, LlamaIndex, GPT4All и VLLM (например, https://en.wikipedia.org/w/index.php?title=Ollama&action=history). Записи.










