Подтверждения
Публичные подтверждения
SentX публикует записи своих демонстраций: запросы, ответы, ошибки и ограничения. Это наблюдения самой SentX, а не независимые бенчмарки.
Обновлено
Записи
Чтение полной научной статьи
- Что проверялось
- В одном запросе был передан извлечённый текст 25-страничного препринта с просьбой составить сводку доказательств. Загрузка через браузер не проверялась.
- Исходная статья
- «Recalling Too Well: Sycophancy Evaluation and Mitigation in Memory-Augmented Models», авторы Shelly Bensal, Axel Magnuson, Aparna Balagopalan и Daniel M. Bikel (arXiv:2606.10949v2, CC BY 4.0). SentX не участвовала в этом исследовании, а статья не оценивает SentX.
- Результат
- Рецензент сверил ответ со статьёй в 11 проверках источника: 5 подтверждены, 4 подтверждены с оговорками или пробелами, 2 не подтверждены.
- Найденные ошибки
- Две существенные ошибки: утверждение, что каждое сравнение показало рост, которое опровергает одна из таблиц, и неподтверждённое толкование процента из аннотации. Ещё три оговорки или пропуска перечислены в записи.
- Ограничения
- Одна статья, один ответ и одна проверка самой компанией. Это не измеряет общую точность, память между сессиями, загрузку PDF или скорость.
Продолжение проекта по переданной контрольной точке
- Что проверялось
- Два запроса в разных сессиях касались вымышленного проекта. Во второй запрос была вставлена полная контрольная точка, написанная в первом.
- Результат
- Оба ответа сохранили переданные факты. Второй обновил запас до 70 пакетиков семян, а бюджет — до 2700 AED (2400 + 300).
- Найденные ошибки
- Три зафиксированные проблемы: неподтверждённая дата контрольной точки, предполагаемая дата получения и переданные факты, описанные категоричнее, чем было указано.
- Ограничения
- Один синтетический проект и два ответа. Контрольная точка была вставлена полностью, поэтому память между сессиями не проверялась.
Как читать эти записи
- Каждый файл JSON содержит запросы, итоговые ответы, отметки времени по Дубаю (GMT+4), хеши и выводы рецензента.
- Внутренние рассуждения исключены.
- Название модели — публичное название продукта; версия базовой модели независимо не проверялась.
- Записи подготовила SentX. Это не независимое одобрение.