---
type: Evaluation
title: "Независимая оценка ответа Haiku — Северный Кавказ 2026-09-24__msk__46349941, prompt-v5"
description: "Проверка ответа модели на пост «Северный Кавказ — от 12 155 ₽»: страна, 8 мест, 8 отелей, 18 предложений, условия цен, перелёт, дословные поля. Ожидаемый ответ агента и скрипт price-v1 не открывались."
resource: trip-places-hotels-prices-llm/posts-one-folder-per-post/2026-09-24__msk__46349941/prompt-v5/EVALUATION-independent-check-of-haiku-answer.md
tags: [cheaptrip, llm, haiku, evaluation]
generated: { by: claude-code/claude-opus-5-5, at: 2026-10-10T18:15:42Z }
status: stable
sources:
  - id: rubric
    resource: trip-places-hotels-prices-llm/prompt-v5/EVALUATION-RUBRIC-for-independent-opus-check-of-haiku-answer.md
    title: Критерии независимой оценки v2
  - id: input
    resource: trip-places-hotels-prices-llm/posts-one-folder-per-post/2026-09-24__msk__46349941/prompt-v5/INPUT-user-message-exactly-as-sent-to-haiku.md
    title: Пост, как его видела модель
  - id: answer
    resource: trip-places-hotels-prices-llm/posts-one-folder-per-post/2026-09-24__msk__46349941/prompt-v5/ANSWER-haiku-json-for-this-post.json
    title: Ответ Haiku
---

# Итог

**Справилась с ошибками.** Все 8 отелей и 18 предложений из «Я собрала 18 предложений в 8 отелях Северного Кавказа» на месте, минимальная цена «26 сентября • 3 ночи — 12 155 ₽» у «Арабеска» совпадает с заголовком; единственная ошибка — страна «Россия» записана не дословно, на покупателя не влияет.

# Счёт

| Что | В посте | В ответе | Сходится |
|---|---|---|---|
| Страны | 1 — Россия, видна только из метки «По России» | 1 — Россия | да |
| Места мельче страны | 8 — «Северного Кавказа», «Архыз», «Домбай», «Теберда», «Приэльбрусье», «Минеральные воды» из «прямой авиаперелет Москва — Минеральные воды — Москва», «д. Романтик», «Лунная поляна» | 8 | да |
| Отели | 8 — «в 8 отелях Северного Кавказа» | 8, в порядке поста | да |
| Предложения | 18 | 18 | да |

Предложения по отелям — пост → ответ:

| Отель (дословно) | Строк с ценой в посте | В ответе |
|---|---|---|
| «Арабеска» | 4 (2 «С человека…» + 2 «Одноместное размещение. Без питания.») | 4 |
| «Снежинка» | 2 | 2 |
| «Sun Village Arkhyz» | 2 | 2 |
| «Санаторий Нарат» | 2 | 2 |
| «Шахерезада» | 2 | 2 |
| «Кристалл» | 2 | 2 |
| «Асса» | 2 | 2 |
| «Dombay Winter Hall» | 2 | 2 |

# Ошибки

| № | Что не так | Дословно из поста | Что в ответе | Как это скажется на покупателе |
|---|---|---|---|---|
| 1 | `country_name_as_in_post` не дословный: слова «Россия» в посте нет, есть «России» в метке; скрипт вхождений это и показал. Модель сама призналась в `doubts_comment`. | метка «По России» | `country_name_as_in_post: "Россия"`, `found_in: "другой текст поста"` | Никак: `country_name_nominative` = «Россия» верно, страница страны найдётся. Страдает только проверка дословности. |

## Замечания — не ошибки модели

| № | Что не так | Дословно из поста | Что в ответе | Как это скажется на покупателе |
|---|---|---|---|---|
| З1 | Тип «Лунной поляны» спорный: это горнолыжная зона и посёлок курорта Архыз, ближе к «курорт или посёлок». | «15 мин. езды до подъемников в д. Романтик и Лунная поляна.» | «Лунная поляна» — «другой объект: дорога, здание, место» | Почти никак: роль «упомянуто в описании отеля» верна, место не потеряно. |
| З2 | Метка «Кавказ» — место крупнее «Северного Кавказа» (Кавказ включает и Закавказье). Отдельной записи нет. Промпт не говорит, что делать с меткой, которая шире места из текста. | метки «Кавказ, По России, …» | записи «Кавказ» нет, есть «Северный Кавказ» | Если на сайте есть страница «Кавказ» и программа не связывает её с Северным Кавказом по справочнику, покупатель там тур не увидит. |

# Что сделано хорошо

- **Регион подборки взят из текста.** «Я собрала 18 предложений в 8 отелях Северного Кавказа» → «Северного Кавказа» / «Северный Кавказ», роль «место расположения отеля» — как правило про «в 4 отелях на острове Хайнань».
- **Город прилёта.** «прямой авиаперелет Москва — Минеральные воды — Москва а/к Аэрофлот» → «Минеральные воды», в именительном «Минеральные Воды», роль «город прилёта»; Москва в `places` не попала — она в `departure_city_*`.
- **Места внутри названий.** «Sun Village Arkhyz» → `["Arkhyz"]`, «Dombay Winter Hall» → `["Dombay"]`; вторых записей в `places` нет — Архыз и Домбай уже там с ролью отеля.
- **Звёзды.** «Арабеска • Архыз», «Sun Village Arkhyz • Архыз», «Санаторий Нарат • Теберда» без значков → `hotel_stars: null`; «Яндекс: 5» за звёзды не принято. «Асса⭐⭐⭐⭐⭐» → 5.
- **Условия цены.** У «Арабеска» строки «С человека при покупке тура на двоих. Без питания.» и «Одноместное размещение. Без питания.» разведены по своим ценам, `price_is_for` — «с человека при покупке на двоих» и «одноместное размещение».
- **Цена с хвостом.** «26 сентября • 3 ночи — 19 472 ₽ — включена программа оздоровления» → `price_as_in_post` «19 472 ₽», `price_amount` 19472: хвост не испортил число.
- **Даты.** Пост от 2026-09-24: «26 сентября» → 2026-09-26, «28 сентября» → 2026-09-28.
- **Перелёт.** `flight_included: true` у всех 18 цен; доказательство — «прямой авиаперелет Москва — Минеральные воды — Москва а/к Аэрофлот».
- **Лишнего нет.** «курортный сбор (на месте)» и «трансфер аэропорт — отель — аэропорт» из «Дополнительно оплачивается» в `offers` не попали; «Под запрос», «Гарантия» не стали сомнениями.

# Что поправить в промпте

- **К ошибке 1** — в шаг 3 добавить: «Страна не названа в тексте, а видна только из метки — `country_name_as_in_post` бери дословно из метки: «По России» → «России», `found_in: "метки блога"`. Страна не названа нигде — всё равно запиши её с `found_in: "другой текст поста"` и дословным куском, из которого она видна».
- **К замечанию З1** — в список `place_type` добавить подсказку: «горнолыжная зона, курортная деревня («Романтик», «Лунная поляна») — «курорт или посёлок»».
- **К замечанию З2** — в шаг 4 добавить: «Место из меток, которое шире места из текста («Кавказ» при «Северного Кавказа» в тексте), — отдельная запись с ролью «только в заголовке или метках»».