Метод feature engineering так само старий, як і data science. Але чомусь він стає все більш забутим. Високий попит на машинне навчання викликав ажіотаж серед вчених-дослідників. Сьогодні у них величезний досвід створення інструментів і алгоритмів. Але у них недостатньо галузевих знань, необхідних для feature engineering. Дослідники намагаються компенсувати це інструментами та алгоритмами. Однак алгоритми тепер є лише товаром і самі по собі не генерують корпоративне IP-портфоліо (портфель інтелектуальних прав, що належать компанії - «Хайтек»).
Feature engineering (з англ. «створення показників, ознак») - техніка вирішення завдань машинного навчання, що дозволяє збільшити якість розроблюваних алгоритмів. Передбачає перетворення даних, специфічних для предметної області, на зрозумілі для моделі вектори. Щоб ефективно вирішити завдання з feature engineering, необхідно бути експертом в конкретній області і розуміти, що впливає на конкретну цільову змінну. Тому багато розробників називають feature engineering мистецтвом, що вимагає вирішення великої кількості завдань і напрацювання досвіду.
Сьогодні такі стартапи, як ContextRelevant і SparkBeyond, розробляють нові інструменти, які спростять для користувачів процес створення і відбору показників (feature selection).
Узагальнені дані теж стають товаром, а хмарні сервіси машинного навчання (MLaaS), такі, як Amazon ML і Google AutoML, тепер дозволяють навіть менш досвідченим членам команди запускати моделі даних і отримувати їхні прогнози протягом декількох хвилин. Але в результаті цього набирають обертів ті компанії, які розвивають організаційну компетенцію в зборі або виготовленні власних даних, створюваних при feature engineering. Простого збирання даних і побудови моделей вже недостатньо.
Корпорації багато чому навчаються у переможців змагань з моделювання, таких як KDD Cup і Heritage Provider Network Health Prize. Своїми успіхами вони зобов'язані саме грамотному підходу до методу feature engineering.
Ян Лекун, Facebook: прогностичні моделі світу - вирішальне досягнення в ШІ
Думки
Для техніки feature engineering вчені розробили ряд методів.
Контекстна трансформація. Він включає перетворення окремих функцій з вихідного набору в більш контекстуально значущу інформацію для кожної конкретної моделі.
Наприклад, при використанні категоріальної функції як «невідомого» може бути спеціальна інформація в контексті ситуації. Але всередині моделі це виглядає, як просто інше значення категорії. У цьому випадку можна ввести нову двійкову функцію has_value, щоб відокремити «невідоме» від усіх інших опцій. Наприклад, функція color дозволить ввести has_color для якогось невідомого кольору.
Команди машинного навчання часто використовують бінінг для розбивання окремих функцій на кілька для кращого розуміння. Наприклад, поділ функції «вік» на «молодий» для < 40 років, «середній» = «» для = «» 40-60 = «» років = «» і «літній» = «» > 60 років.
Бінінг, або балансування даних - метод попередньої обробки, що використовується для зменшення впливу незначних помилок спостереження. Вихідні значення даних, які потрапляють в невеликий інтервал, замінюються значенням, що представляє цей інтервал, часто центральним значенням. Це форма квантування.
Деякі інші приклади перетворень:
Багатофункціональна арифметика. Інший підхід до feature engineering полягає в застосуванні арифметичних формул до набору існуючих точок даних. Такі формули створюють похідні, засновані на взаємодії між функціями та їх відносинах один до одного.
Побудова з багатофункціональною арифметикою - дуже вигідно, але вона вимагає повного розуміння предмета і цілей моделі.
Приклади використання формул:
Джіанкарло Суччі: «Спроба спроектувати програму без багів - утопія»
Іннополіс
Передові методи. Команди обирають більш складні алгоритмічні методи, які аналізують існуючі дані для пошуку можливості для створення нових функцій.
Команди повинні постійно шукати більш ефективні функції і моделі. Але для досягнення успіху роботу необхідно комплексно структурувати. Шість кроків для розробок за допомогою feature engineering, які знадобляться командам машинного навчання та їх керівникам:
1. Уточніть призначення моделі. Почніть з роз'яснення для себе і команди основних цілей і варіантів використання моделі. Всі повинні взаємодіяти і працювати заради унікальної мети. В іншому випадку ви будете працювати даремно.
2. Вкажіть необхідні критерії. Процес побудови високопродуктивної моделі вимагає ретельних досліджень і аналізу наявних даних. Але план роботи повинен враховувати обмеження в реальному світі: вартість, доступність, обмеження в обчисленні та зберіганні та інші вимоги під час початкових напрацювань. Команда повинна погоджувати такі переваги або обмеження на ранньому етапі.
Ми всі - сенсори: CEO SQream Амі Галь - про те, як обробляють big data
Кейси
3. Ідеальні нові функції. Подумайте про способи створення нових даних для кращого опису і вирішення заданої проблеми. Знання в предметній галузі та залучення експертів на цьому етапі забезпечать підвищення цінності feature engineering.
4. Будуйте функції як вхідні дані. Після того, як ви визначили нові концепції функцій, виберіть найбільш ефективні методи для їх створення з доступних даних. Вибір правильної техніки - ключ до забезпечення корисності нових функцій.
5. Вивчіть вплив. Оцініть, як характеристики вашої моделі впливають на її продуктивність. Висновки про додану вартість нових функцій безпосередньо залежать від того, як вимірюється ефективність.
Вимірювання продуктивності моделі має успішно застосовуватися в бізнесі. Сьогодні команди мають великий набір параметрів вимірювання, які виходять далеко за рамки точності: відкликання, оцінка F1 і крива робочої характеристики приймача (Receiver operating characteristic, ROC).
6. Уточніть функції. Розробка функцій - це ітеративний процес, що включає тестування, налаштування та уточнення нових функцій. Цикл оптимізації в цьому процесі іноді призводить до видалення низьковиробничих функцій або заміни з використанням всіх можливих аналогічних варіантів до тих пір, поки не будуть ідентифіковані найкращі функції впливу.
Feature engineering - нова алхімія сучасного світу, в якій успішні команди перетворюють загальні дані на інтелектуальну власність з доданою вартістю для своїх організацій.
Важливі принципи для успіху в feature engineering: