---
type: Evaluation
title: "Независимая оценка ответа Haiku — пост Шерегеш 2026-10-01__msk__46363036, prompt-v6 без флага --json-schema"
description: "Проверка ответа модели по посту и по цели: страна, места, 8 отелей, 9 предложений, условия цен, категория номера, перелёт, дословные поля, сомнения. Прогон без флага --json-schema: формат держит только текст промпта. Ожидаемый ответ агента и скрипт price-v1 не открывались."
resource: trip-places-hotels-prices-llm/posts-one-folder-per-post/2026-10-01__msk__46363036/prompt-v6-without-json-schema-flag/EVALUATION-independent-check-of-haiku-answer.md
tags: [cheaptrip, llm, haiku, evaluation]
generated: { by: claude-code/claude-opus-5-5, at: 2026-10-10T18:15:21Z }
status: stable
sources:
  - id: rubric
    resource: trip-places-hotels-prices-llm/prompt-v6/EVALUATION-RUBRIC-for-independent-opus-check-of-haiku-answer.md
    title: Критерии независимой оценки v2
  - id: input
    resource: trip-places-hotels-prices-llm/posts-one-folder-per-post/2026-10-01__msk__46363036/prompt-v6-without-json-schema-flag/INPUT-user-message-exactly-as-sent-to-haiku.md
    title: Промпт v6 с постом в блоке <пост_для_анализа>, как его видела модель
  - id: answer
    resource: trip-places-hotels-prices-llm/posts-one-folder-per-post/2026-10-01__msk__46363036/prompt-v6-without-json-schema-flag/ANSWER-haiku-json-for-this-post.json
    title: Ответ Haiku
---

# Итог

**Справилась.** Все 8 отелей и 9 предложений на месте, Шерегеш — место расположения отелей, цены, даты и звёзды верны; лишнее только в `doubts_comment` — сомнение о категории номера, которое на покупателя не влияет.

# Счёт

| Что | В посте | В ответе | Сходится |
|---|---|---|---|
| Страны | 1 — Россия, «По России» в метках | 1 — Россия | да |
| Места мельче страны | 5 — Шерегеш («в 8 отелях горнолыжного курорта Шерегеш»), гора Зелёная (описания отелей), сектор А и сектор Е («В 3,5 км до сектора А, в 7,9 км до сектора Е»), Новокузнецк (город прилёта) | 5 | да |
| Отели | 8 — «Я собрала 9 предложений в 8 отелях горнолыжного курорта Шерегеш» | 8, в порядке поста | да |
| Предложения | 9 | 9 | да |

Предложения по отелям — пост → ответ:

| Отель (дословно) | Звёзды в посте → в ответе | Строк с ценой в посте | В ответе |
|---|---|---|---|
| «Отлично Шерегеш» | ⭐⭐ → 2 | 2 («С человека…» + «Одноместное размещение…») | 2 |
| «Отель Bella Vista» | нет → null | 1 | 1 |
| «Гостиница ГрюнХоф» | нет → null | 1 | 1 |
| «Гостиница Кедровая» | ⭐⭐ → 2 | 1 | 1 |
| «Отель Кедровый двор» | ⭐⭐⭐ → 3 | 1 | 1 |
| «Гостевой Дом Serebro» | ⭐⭐⭐ → 3 | 1 | 1 |
| «Отель Снежный» | ⭐⭐⭐⭐ → 4 | 1 | 1 |
| «Отель Три Совы» | ⭐⭐⭐⭐ → 4 | 1 | 1 |

# Ошибки

Ошибок нет.

## Замечания — не ошибки, на покупателя не влияют

| № | Что не так | Дословно из поста | Что в ответе | Как это скажется на покупателе |
|---|---|---|---|---|
| З1 | Сомнение не о месте, отеле, цене или дате, а о границе категории номера — и пересказ своего решения. Категория выписана верно: отдельная строка с типом номера над строкой условий. | «Однокомнатные апартаменты №2 или №6 (24 м²) с двуспальной кроватью, диваном, оборудованной кухонной зоной…» | `room_category_as_in_post: "Однокомнатные апартаменты №2 или №6 (24 м²)"`; `doubts_comment`: «„Однокомнатные апартаменты №2 или №6 (24 м²) с двуспальной кроватью…" записано как категория номера: строки с двоеточием нет, сомневаюсь, что это особая категория, а не обычный номер.» | Никак: цена 91 277 ₽ стоит у своего отеля с верными условиями. Человек, который читает сомнения, тратит время на пустую проверку. |

# Что сделано хорошо

- **Шерегеш — место расположения отелей, хотя после названий разделителя нет.** Ни у одного отеля нет «•» с местом, но модель взяла Шерегеш из «в 8 отелях горнолыжного курорта Шерегеш» с ролью «место расположения отеля» и `found_in: "другой текст поста"` — по этому тур попадёт на страницу Шерегеша.
- **Пустые места отелей не выдуманы.** У всех 8 отелей `hotel_place_names_as_in_post: []` — в строках отелей мест нет. В «Отлично Шерегеш» Шерегеш записан как место внутри названия.
- **Гора Зелёная — дословно из описания.** «горе Зелёная» — из «Расположена на горе Зелёная, между двух подъёмников» у «Отель Три Совы»; в именительном — «гора Зелёная», тип «природный объект: гора, озеро, река, лес». Роль «место расположения отеля» оправдана: отели стоят «На горе Зеленая» и «У подножия горы Зелёной».
- **Сектора курорта.** «сектора А», «сектора Е» → «сектор А», «сектор Е», роль «упомянуто в описании отеля».
- **Подъёмники и трассы не стали местами.** «Sky-Way», «Gesh Fly», «Фристайл», «Шермонт», «Олимпия-Экспресс» — названия подъёмников, в `places` их нет.
- **Новокузнецк — город прилёта.** Из «авиаперелет Москва — Новокузнецк — Москва»; отелей там нет, роль «город прилёта».
- **Страна из меток.** «По России» → `country_name_as_in_post: "России"`, «Россия», `found_in: "метки блога"`.
- **Звёзды отличены от рейтингов.** «Отлично Шерегеш⭐⭐» → 2, «Отель Bella Vista» без значков → null; «Яндекс: 5», «Tripadvisor: 4,3» звёздами не стали.
- **Категория номера.** «Однокомнатные апартаменты №2 или №6 (24 м²) с двуспальной кроватью…» → «Однокомнатные апартаменты №2 или №6 (24 м²)»: двоеточия нет, но перечень удобств модель отрезала верно. У остальных 8 цен — `null`.
- **Даты и ночи.** Публикация «2026-10-01»: «27 декабря • 7 ночей» → 2026-12-27, 7 — у всех 9 цен.
- **Перелёт.** Доказательство — «авиаперелет Москва — Новокузнецк — Москва» — начало той же строки, без скобок; непрерывный кусок поста, годится; заголовок «с прямым перелетом»; `flight_included: true` у всех цен.
- **Нет лишнего.** «новогодний ужин (при наличии, цену уточняйте при бронировании)» из «Дополнительно оплачивается» не стал предложением; «Офис на Арме» и «Офис на Павелецкой» — не места.
- **Формат без флага схемы.** Ответ — чистый JSON, все поля на месте, закрытые списки соблюдены.
- **Пример про Бали не просочился в ответ.** Ни Сингапура, ни Куты, ни Дохи в ответе нет.
- **Дословные поля.** Скрипт проверил 45 полей, не найдено 0 — разбирать нечего.

# Что поправить в промпте

- **З1.** В <самопроверка>, пункт 6, список «Не пиши туда» добавить: «про категорию номера — где кончается её название и обычный ли это номер; категория не меняет место, отель, цену или дату».
- **З1.** В описании `room_category_as_in_post` (шаг 5 и схема) дописать случай без двоеточия: «Двоеточия нет — название до первого перечня удобств: „Однокомнатные апартаменты №2 или №6 (24 м²) с двуспальной кроватью…" → „Однокомнатные апартаменты №2 или №6 (24 м²)"». Тогда модели не о чем сомневаться.