Block Authoring Evaluation Plan
1. Цель оценки
-
качество означает, что пользователь может надёжно управлять библиотекой блоков, не ломая историю версий и связи с композициями
-
основные риски:
-
потеря несохранённых изменений
-
неверная публикация версии
-
удаление используемого блока
-
непонятное поведение AI-черновика
2. Измерения качества
-
корректность версионирования
-
устойчивость вкладок и признака несохранённых изменений
-
качество поиска и выбора нужного блока
-
понятность ошибок публикации и удаления
-
качество ручной проверки AI-результата
3. Критерии приемки
-
новая версия блока создаётся предсказуемо
-
существующие версии остаются доступными
-
вкладки не теряют введённые пользователем данные без предупреждения
-
удаление запрещается для используемых блоков
-
AI-режимы не публикуют изменения автоматически
4. Стратегия набора проверок
-
типовые блоки разных видов:
-
role
-
safety
-
constraint
-
style
-
domain
-
негативные сценарии:
-
пустой идентификатор
-
неверный формат значений по умолчанию
-
попытка удалить используемый блок
-
AI-ревизия без инструкции
5. Оффлайн-проверка
-
повторное открытие и сохранение нескольких блоков
-
сравнение версий до и после редактирования
-
проверка дерева и поиска на большом числе блоков
-
проверка ограничений удаления на композициях со ссылками
6. Ручная проверка
-
рецензент оценивает, насколько понятны режимы создания и редактирования
-
рецензент оценивает, понимает ли пользователь, что создаётся новая версия
-
рецензент проверяет, что AI-подсказка воспринимается как черновик, а не как готовая публикация
7. Порог и правило решения
-
можно выпускать:
-
если сценарии создания, редактирования и версионирования устойчивы
-
если ошибки не приводят к скрытым повреждениям библиотеки
-
если AI-режимы не обходят ручную проверку
-
нельзя выпускать:
-
если есть потери данных формы
-
если история версий может быть повреждена
-
если удаление нарушает целостность связанных композиций