Тестирование курсором — краткий вердикт

курсоромсмоукрегресс-тестирование

Попробовала тут потестировать курсором.

Итог предсказуем:

  • Курсор отлично гоняет четко прописанный смоук, находит малейшие недочеты тз и мне в принципе нравится.
  • На сложных сценариях буксует, говорит, что не понимает как это тестировать и зачем.
  • С точки зрения ux человеческий глаз вообще не заменим, агент не может понять, что такое удобство пользования.
  • Итого вердикт: если есть хорошая модель - то регресс гонять можно, сложную логику уже сложнее.

Дискуссия

Better Call Lory Chat
Vladimir Denisov
А на какой llm-модели гоняла тесты?
5.4 nano
Вячеслав
по юзабилити так и есть, тк сколько людей столько мнений и часто сидишь кворумом и приходишь командой к общему консенсусу.
Better Call Lory Chat
Вячеслав
по юзабилити так и есть, тк сколько людей столько мнений и часто сидишь кворумом и приходишь командой к общему консенсусу.
Иногда бывают прямо очевидные косяки
Oleg Gerbylev
Better Call Lory Chat
5.4 nano
Блин я всё понимаю но тут дело не в агенте, что он сложные таски сделать не может. Вообще без разницы, что за агент если модель слабая.
Аnastasiya Shemetova
ммм... посмотри,мб он поумнеет от настроенного корректно MCP, туда тоже можно доп логику на проверки зашивать вроде
Аnastasiya Shemetova
мб ту же инфу из брендбука, фигму подключение настроить через mcp и прочее и он это будет в контексте тестирования юзать
Better Call Lory Chat
Oleg Gerbylev
Блин я всё понимаю но тут дело не в агенте, что он сложные таски сделать не может. Вообще без разницы, что за агент если модель слабая.
А какую ты посоветуешь?
Better Call Lory Chat
Аnastasiya Shemetova
мб ту же инфу из брендбука, фигму подключение настроить через mcp и прочее и он это будет в контексте тестирования юзать
Брендбук, фигма, говорили они))) Я через mcp тут пытаюсь 1с подключить
Better Call Lory Chat
Oleg Gerbylev
Ну у меня ответ простой, использовать самую мощную из тех что существует это opus 4.8, gpt 5.5 pro и ставить им настройки в xhigt Типо хз вся это возня со слабыми моделями имеет смысл только если есть какой то процесс повторящийся тогда да, оптимизация…
Пасибо
Присоединиться к обсуждению →

Читайте так же