ШІ навчили забувати непотрібну інформацію

Дослідники пояснили, що моделі ефективно запам'ятовують будь-яку інформацію. Зазвичай це добре, але в деяких випадках - шкідливо, адже ШІ не поділяє важливі і другорядні дані і обробляє їх з однаковою ефективністю, витрачаючи приблизно таку ж кількість даних. Але в міру збільшення обсягу доступної інформації, системи змушені витрачати все більше і більше обмежених обчислювальних ресурсів на її обробку. Дослідники Facebook сподіваються допомогти майбутнім ШІ бути більш уважними, наділивши дані терміном придатності.

Цей метод називається Expire-Span і допоможе нейронним мережам ефективно сортувати і зберігати інформацію, найбільш підходящу для виконання поставлених перед ними завдань. Expire-Span працює, спочатку пророкуючи, яка інформація буде найбільш корисною для мережі в даному контексті, а потім присвоюючи їй термін придатності. Чим важливіше, на думку Expire-Span, та чи інша інформація, тим більш віддалений термін придатності буде у даних. Нейронні мережі зможуть довше зберігати актуальну інформацію, постійно звільняючи пам'ять, забуваючи неактуальні дані.

Створено робот, який розчісує навіть найбільш заплутане волосся

"Expire-Span розраховує значення терміну придатності інформації для всіх видів даних і робить це щоразу, коли йому надають новий фрагмент інформації. Цей тег визначає, як довго інформація зберігається в пам'яті, - пояснили дослідники. - Поступовий розпад частини даних є ключем до збереження важливої інформації без її розмивання ".

Хоча дослідження ще знаходяться на ранній стадії, вчені впевнені, що для удосконалення нейронної мережі потрібно не так багато кроків. У майбутньому команда сподівається розробити ще більш наближену до людської пам'ять, але здатну засвоювати нову інформацію набагато швидше, ніж дозволяють нинішні технології.