AI & Automation
На вигляд усе гараздПридивись
В AI та автоматизації модель, що вражає в демо, – це та, що ламається в продакшені.Реальним даним, навантаженню й наслідкам байдуже, яким гарним було демо.
Реальність продакшену
Демо ніколи не було складною частиною
Розрив між вражаючим прототипом і тим, чому можна довіряти в продакшені, – саме там тихо провалюється більшість AI-роботи
Ознаки того, що воно не переживе зустрічі з продакшеном
- 01Немає системи оцінюванняЯкість оцінюють на відчуття й на дібраних прикладах, а не міряють на реальних задачах
- 02Даних, які ще не існуютьВоркфлоу припускає чисті, розмічені, дозволені дані, яких насправді ніхто не створив
- 03Лише щасливий шляхВражає на демо-промпті, не перевірене на брудних, ворожих входах реальних користувачів
- 04Немає плану відкатуКоли модель помиляється, немає ані людини, ані override, ані безпечного дефолту
- 05Дашборди, а не рішенняВихід потрапляє на екран замість того, щоб змінювати те, що робить система чи людина