Інтерактивне машинне навчання

Частина з циклу
Машинне навчання та добування даних
Парадигми Кероване навчання Некероване навчання Інтерактивне навчання Пакетне навчання Метанавчання Напівкероване навчання Самокероване навчання Навчання з підкріпленням Навчання на основі правил Квантове машинне навчання
Задачі Класифікація Породжувальна модель Регресія Кластерування Знижування розмірності Оцінювання густини Виявляння аномалій Очищування даних[en] АвтоМН Асоціативні правила Семантичний аналіз[en] Структурове передбачування Конструювання ознак Навчання ознак Навчання ранжуванню Виведення граматик[en] Навчання онтологій[en] Мультимодальне навчання[en]
Кероване навчання (класифікація • регресія) Ансамблі Випадковий ліс Бутстрепова агрегація Підсилювання Градієнтне підсилювання[en] AdaBoost[en] Дерева рішень MARS[en] CART Доречно-векторна машина k-сусідів Лінійна регресія Логістична регресія Лінійний розділювальний аналіз Наївний баєсів класифікатор Перцептрон Підмайстрове навчання Опорно-векторна машина Штучні нейронні мережі
Кластерування BIRCH[en] CURE Ієрархічне k-середніх Нечітке Очікування-максимізація DBSCAN OPTICS Спектральне Зсув середнього[en]
Знижування розмірності Факторний аналіз Метод незалежних компонент[en] Канонічна кореляція Дискримінантний аналіз Метод головних компонент Власний узагальнений розклад[en] Розклад невід'ємних матриць t-розподілене вкладення стохастичної близькості Навчання розріджених словників[en]
Структурове передбачування Графові моделі Баєсова мережа Прихована марковська модель Умовне випадкове поле
Виявляння аномалій RANSAC k-НС Коефіцієнт локального відхилення Відстань Кука Ізоляційний ліс[en]
Штучна нейронна мережа Автокодувальник Когнітивні обчислення[en] Глибоке навчання DeepDream Нейронна мережа прямого поширення Рекурентна нейронна мережа ДКЧП ВРВ МВС Резервуарне обчислення Обмежена машина Больцмана ГЗМ Дифузійна модель Самоорганізаційна карта Згорткова нейронна мережа U-Net Трансформер Зоровий Спайкова нейронна мережа[en] Мемтранзистор Електрохімічна ПДД[en] (ECRAM)
Навчання з підкріпленням Q-навчання SARSA Метод часових різниць Багатоагентне навчання з підкріпленням Гра проти себе[en]
Навчання з людьми Активне навчання (машинне навчання)[en] Краудсорсинг Людина-в-циклі
Діагностування моделей Крива спроможності навчатися[en]
Математичні засади Ядрові машини Компроміс зсуву та дисперсії Ймовірнісно приблизно коректне навчання Мінімізація емпіричного ризику Оккамове навчання[en] Регуляризація LASSO[en] Тихонова Еластично-сіткова[en] Статистичне навчання Теорія Вапника — Червоненкіса Теорія обчислювального навчання[en]
Місця машинного навчання ECML PKDD[en] NeurIPS[en] ICML[en] ICLR IJCAI ML JMLR
Пов'язані статті Глосарій штучного інтелекту[en] Список наборів даних для досліджень з машинного навчання Перелік понять машинного навчання[en]
п о р

В інформатиці інтеракти́вне маши́нне навча́ння (англ. online machine learning) — це метод машинного навчання, в якому дані стають доступними послідовно, і їх використовують для уточнення найкращого передбачувача для майбутніх даних на кожному кроці, на відміну від методів пакетного навчання (англ. batch learning), які породжують найкращий передбачувач шляхом навчання на всьому тренувальному наборі даних за раз. Інтерактивне навчання є поширеною методикою, яку використовують у сферах машинного навчання, де тренування над усім набором даних обчислювально нездійсненне, що вимагає використання позаядрових алгоритмів^[en]. Його також використовують у ситуаціях, коли необхідно, щоб алгоритм динамічно пристосовувався до нових закономірностей у даних, або коли самі дані породжуються як функція часу, наприклад, у передбачуванні цін акцій^[en]. Алгоритми інтерактивного навчання можуть бути схильними до катастрофічної інтерференції^[en], цю проблему можливо розв'язувати за допомогою підходів покрокового навчання.

У постановці керованого навчання належить навчитися функції ${\displaystyle f:X\to Y}$, де ${\displaystyle X}$ розглядають як простір входів, а ${\displaystyle Y}$ як простір виходів, яка робить добрі передбачення на випадках, узятих зі спільного розподілу ймовірності ${\displaystyle p(x,y)}$ на ${\displaystyle X\times Y}$. Насправді учень ніколи не знає справжнього розподілу ${\displaystyle p(x,y)}$ над примірниками. Натомість учень зазвичай має доступ до тренувального набору прикладів ${\displaystyle (x_{1},y_{1}),\ldots ,(x_{n},y_{n})}$. У цій постановці функцію втрат задають як ${\displaystyle V:Y\times Y\to \mathbb {R} }$, так, що ${\displaystyle V(f(x),y)}$ вимірює різницю між передбаченим значенням ${\displaystyle f(x)}$ та істинним значенням ${\displaystyle y}$. Ідеальна мета — обрати таку функцію ${\displaystyle f\in {\mathcal {H}}}$, де ${\displaystyle {\mathcal {H}}}$ це простір функцій, званий простором гіпотез, щоби деяке поняття загальних втрат було мінімізованим. Залежно від типу моделі (статистична чи змагальна) можливо винаходити різні поняття втрат, які ведуть до різних алгоритмів навчання.

У моделях статистичного навчання вважають, що тренувальні зразки ${\displaystyle (x_{i},y_{i})}$ взято з істинного розподілу ${\displaystyle p(x,y)}$, а мета полягає в мінімізації очікуваного «ризику»

${\displaystyle I[f]=\mathbb {E} [V(f(x),y)]=\int V(f(x),y)\,dp(x,y)\ .}$

Поширена парадигма в цій ситуації — оцінювати функцію ${\displaystyle {\hat {f}}}$ через мінімізацію емпіричного ризику або регуляризовану мінімізацію емпіричного ризику (зазвичай регуляризацією Тихонова). Вибір функції втрат тут породжує декілька добре відомих алгоритмів навчання, таких як регуляризовані найменші квадрати та опорновекторні машини. Суто інтерактивна модель у цій категорії вчитиметься на основі лише нового входу ${\displaystyle (x_{t+1},y_{t+1})}$, поточного найкращого передбачувача ${\displaystyle f_{t}}$, та деякої додаткової збереженої інформації (від якої зазвичай очікують вимог до зберігання, незалежних від розміру тренувальних даних). Для багатьох формулювань, наприклад, нелінійних ядрових методів, істинне інтерактивне навчання неможливе, хоча можливо використовувати певний вигляд гібридного інтерактивного навчання з рекурсивними алгоритмами, де ${\displaystyle f_{t+1}}$ дозволено залежати від ${\displaystyle f_{t}}$ й усіх попередніх точок даних ${\displaystyle (x_{1},y_{1}),\ldots ,(x_{t},y_{t})}$. У цьому випадку сталість вимог до зберігання більше не гарантовано, оскільки він вимагає зберігання всіх попередніх точок даних, але розв'язання може займати менше часу на обчислення з додаванням нової точки даних, у порівнянні з пакетними методиками навчання.

Загальною стратегією подолання вищевказаних проблем є використання мініпакетів (англ. mini-batches), які обробляють невеликий пакет ${\displaystyle b\geq 1}$ точок даних за раз, це можна вважати псевдоінтерактивним навчанням для ${\displaystyle b}$, значно меншого за загальну кількість тренувальних точок. Мініпакетні методики використовують з повторюваним проходженням тренувальних даних для отримання оптимізованих позаядрових^[en] версій алгоритмів машинного навчання, наприклад, стохастичного градієнтного спуску. У поєднанні зі зворотним поширенням це наразі є фактичним тренувальним методом для тренування штучних нейронних мереж.

Для пояснення різноманітних ідей в інтерактивному навчанні використовують простий приклад лінійних найменших квадратів. Ці ідеї достатньо загальні, щоби їх було можливо застосовувати до інших постановок, наприклад, з іншими опуклими функціями втрат.

Розгляньмо постановку керованого навчання, де ${\displaystyle f}$ — лінійна функція, якої потрібно навчитися:

${\displaystyle f(x_{j})=\langle w,x_{j}\rangle =w\cdot x_{j}}$

де ${\displaystyle x_{j}\in \mathbb {R} ^{d}}$ — вектор входів (точок даних), а ${\displaystyle w\in \mathbb {R} ^{d}}$ — вектор лінійного фільтра. Мета полягає в обчисленні вектора фільтра ${\displaystyle w}$. З цією метою квадратичну функція втрат

${\displaystyle V(f(x_{j}),y_{j})=(f(x_{j})-y_{j})^{2}=(\langle w,x_{j}\rangle -y_{j})^{2}}$

використовують для обчислення вектора ${\displaystyle w}$, який мінімізує емпіричні втрати

${\displaystyle I_{n}[w]=\sum _{j=1}^{n}V(\langle w,x_{j}\rangle ,y_{j})=\sum _{j=1}^{n}(x_{j}^{T}w-y_{j})^{2}}$

де

${\displaystyle y_{j}\in \mathbb {R} }$.

Нехай ${\displaystyle X}$ це матриця даних ${\displaystyle i\times d}$, а ${\displaystyle y\in \mathbb {R} ^{i}}$ — вектор-стовпець цільових значень після надходження перших ${\displaystyle i}$ точок даних. Виходячи з припущення, що коваріаційна матриця ${\displaystyle \Sigma _{i}=X^{T}X}$ невироджена (в іншому разі краще діяти подібним чином з регуляризацією Тихонова), найкращий розв'язок ${\displaystyle f^{*}(x)=\langle w^{*},x\rangle }$ задачі лінійних найменших квадратів задається через

${\displaystyle w^{*}=(X^{T}X)^{-1}X^{T}y=\Sigma _{i}^{-1}\sum _{j=1}^{i}x_{j}y_{j}}$.

Тепер, обчислення коваріаційної матриці ${\displaystyle \Sigma _{i}=\sum _{j=1}^{i}x_{j}x_{j}^{T}}$ займає ${\displaystyle O(id^{2})}$ часу, обернення матриці ${\displaystyle d\times d}$ займає ${\displaystyle O(d^{3})}$ часу, тоді як решта множення займає ${\displaystyle O(d^{2})}$ часу, даючи загальний час ${\displaystyle O(id^{2}+d^{3})}$. Коли загальна кількість точок у наборі даних — ${\displaystyle n}$, для переобчислення розв'язку після надходження кожної точки даних ${\displaystyle i=1,\ldots ,n}$ наївний підхід матиме повну складність ${\displaystyle O(n^{2}d^{2}+nd^{3})}$. Зауважте, що якщо зберігати матрицю ${\displaystyle \Sigma _{i}}$, то для її уточнення на кожному кроці потрібно лише додавати ${\displaystyle x_{i+1}x_{i+1}^{T}}$, що займає ${\displaystyle O(d^{2})}$ часу, знижуючи загальний час до ${\displaystyle O(nd^{2}+nd^{3})=O(nd^{3})}$, але з додатковим місцем для зберігання ${\displaystyle O(d^{2})}$, щоби зберігати ${\displaystyle \Sigma _{i}}$.^[1]

Алгоритм рекурсивних найменших квадратів (РНК, англ. recursive least squares, RLS) розглядає інтерактивний підхід до задачі найменших квадратів. Можливо показати, що якщо встановити початкові значення ${\displaystyle \textstyle w_{0}=0\in \mathbb {R} ^{d}}$ та ${\displaystyle \textstyle \Gamma _{0}=I\in \mathbb {R} ^{d\times d}}$, то розв'язок задачі лінійних найменших квадратів, наведеної в попередньому розділі, можливо обчислювати наступним ітеруванням:

${\displaystyle \Gamma _{i}=\Gamma _{i-1}-{\frac {\Gamma _{i-1}x_{i}x_{i}^{T}\Gamma _{i-1}}{1+x_{i}^{T}\Gamma _{i-1}x_{i}}}}$

${\displaystyle w_{i}=w_{i-1}-\Gamma _{i}x_{i}(x_{i}^{T}w_{i-1}-y_{i})}$

Наведений вище ітеративний алгоритм можливо довести за допомогою індукції за ${\displaystyle i}$.^[2] Це доведення також показує, що ${\displaystyle \Gamma _{i}=\Sigma _{i}^{-1}}$. РНК також можливо розглядати в контексті адаптивних фільтрів (див. РНК^[en]).

Складність цього алгоритму для ${\displaystyle n}$ кроків становить ${\displaystyle O(nd^{2})}$, що на порядок швидше за відповідну складність пакетного навчання. Вимоги до зберігання на кожному кроці ${\displaystyle i}$ тут — зберігати матрицю ${\displaystyle \Gamma _{i}}$, що становить сталі ${\displaystyle O(d^{2})}$. На той випадок, коли ${\displaystyle \Sigma _{i}}$ вироджена, розгляньмо регуляризований варіант функції втрат задачі ${\displaystyle \sum _{j=1}^{n}(x_{j}^{T}w-y_{j})^{2}+\lambda ||w||_{2}^{2}}$. Відтак легко показати, що працює той самий алгоритм ${\displaystyle \Gamma _{0}=(I+\lambda I)^{-1}}$, й ітерації продовжують давати ${\displaystyle \Gamma _{i}=(\Sigma _{i}+\lambda I)^{-1}}$.^[1]

Коли це

${\displaystyle \textstyle w_{i}=w_{i-1}-\Gamma _{i}x_{i}(x_{i}^{T}w_{i-1}-y_{i})}$

замінити на

${\displaystyle \textstyle w_{i}=w_{i-1}-\gamma _{i}x_{i}(x_{i}^{T}w_{i-1}-y_{i})=w_{i-1}-\gamma _{i}\nabla V(\langle w_{i-1},x_{i}\rangle ,y_{i})}$

або ${\displaystyle \Gamma _{i}\in \mathbb {R} ^{d\times d}}$ на ${\displaystyle \gamma _{i}\in \mathbb {R} }$, це стає алгоритмом стохастичного градієнтного спуску. В цьому випадку складність цього алгоритму для ${\displaystyle n}$ кроків знижується до ${\displaystyle O(nd)}$. Вимоги до зберігання на кожному кроці ${\displaystyle i}$ сталі, й становлять ${\displaystyle O(d)}$.

Проте, розмір кроку ${\displaystyle \gamma _{i}}$ необхідно обирати ретельно, щоби розв'язати задачу мінімізації очікуваного ризику, як описано вище. Обравши розмір кроку затухання ${\displaystyle \gamma _{i}\approx {\frac {1}{\sqrt {i}}},}$ можливо довести збіжність середньої ітерації ${\displaystyle {\overline {w}}_{n}={\frac {1}{n}}\sum _{i=1}^{n}w_{i}}$. Ця постановка є окремим випадком стохастичної оптимізації, добре відомої задачі оптимізації.^[1]

На практиці можливо виконувати декілька стохастичних градієнтних проходів над даними (також званих циклами або епохами). Отриманий таким чином алгоритм носить назву покрокового градієнтного метода (англ. incremental gradient method) й відповідає ітерації

${\displaystyle \textstyle w_{i}=w_{i-1}-\gamma _{i}\nabla V(\langle w_{i-1},x_{t_{i}}\rangle ,y_{t_{i}})}$

Основна відмінність від методу стохастичного градієнта полягає в тому, що тут обирають послідовність ${\displaystyle t_{i}}$, щоби вирішувати, яку тренувальну точку відвідати на ${\displaystyle i}$-тому кроці. Така послідовність може бути стохастичною або детермінованою. Відтак кількість ітерацій відокремлюється від кількості точок (кожну точку можливо розглядати декілька разів). Можливо продемонструвати, що метод покрокового градієнта забезпечує мінімізацію емпіричного ризику.^[3] Покрокові методи можуть бути корисними при розгляді цільових функцій, складених із суми багатьох членів, наприклад, емпіричної похибки, що відповідає дуже великому набору даних.^[1]

Ядра можливо використовувати для розширення наведених вище алгоритмів до непараметричних моделей (або моделей, де параметри утворюють нескінченновимірний простір). Відповідна процедура більше не буде істинно інтерактивною, передбачаючи натомість зберігання всіх точок даних, але все ж швидшою за метод грубої сили. Це обговорення обмежується випадком квадратичних втрат, хоча його може бути розширено до будь-яких опуклих втрат. За допомогою простої індукції можливо показати,^[1] що якщо ${\displaystyle X_{i}}$ це матриця даних, а ${\displaystyle w_{i}}$ це результат після ${\displaystyle i}$ кроків алгоритму СГС, то

${\displaystyle w_{i}=X_{i}^{T}c_{i}}$

де ${\displaystyle \textstyle c_{i}=((c_{i})_{1},(c_{i})_{2},...,(c_{i})_{i})\in \mathbb {R} ^{i}}$, а послідовність ${\displaystyle c_{i}}$ задовольняє рекурсію

${\displaystyle c_{0}=0}$

${\displaystyle (c_{i})_{j}=(c_{i-1})_{j},j=1,2,...,i-1}$ і

${\displaystyle (c_{i})_{i}=\gamma _{i}{\Big (}y_{i}-\sum _{j=1}^{i-1}(c_{i-1})_{j}\langle x_{j},x_{i}\rangle {\Big )}}$

Зауважте, що тут ${\displaystyle \langle x_{j},x_{i}\rangle }$ є просто стандартним ядром на ${\displaystyle \mathbb {R} ^{d}}$, а передбачувач має вигляд

${\displaystyle f_{i}(x)=\langle w_{i-1},x\rangle =\sum _{j=1}^{i-1}(c_{i-1})_{j}\langle x_{j},x\rangle }$.

Тепер, якщо натомість вводять загальне ядро ${\displaystyle K}$, і покладають передбачувач як

${\displaystyle f_{i}(x)=\sum _{j=1}^{i-1}(c_{i-1})_{j}K(x_{j},x)}$

то те саме доведення також покаже, що передбачувач, який мінімізує втрати за методом найменших квадратів, отримується заміною наведеної вище рекурсії на

${\displaystyle (c_{i})_{i}=\gamma _{i}{\Big (}y_{i}-\sum _{j=1}^{i-1}(c_{i-1})_{j}K(x_{j},x_{i}){\Big )}}$

Наведений вище вираз вимагає зберігання всіх даних для уточнення ${\displaystyle c_{i}}$. Загальна часова складність для рекурсії при оцінюванні для ${\displaystyle n}$-тої точки даних становить ${\displaystyle O(n^{2}dk)}$, де ${\displaystyle k}$ це витрати на обчислення ядра на одній парі точок.^[1] Таким чином, використання ядра дозволило перейти від скінченновимірного простору параметрів ${\displaystyle \textstyle w_{i}\in \mathbb {R} ^{d}}$ до можливо нескінченновимірної функції, поданої ядром ${\displaystyle K}$, натомість виконуючи рекурсію на просторі параметрів ${\displaystyle \textstyle c_{i}\in \mathbb {R} ^{i}}$, розмірність якого така сама, як і розмір тренувального набору даних. Загалом, це наслідок теореми про подання^[en].^[1]

Інтерактивна опукла оптимізація (ІОО, англ. online convex optimization, OCO)^[4] — це загальна система для ухвалювання рішень, яка використовує для створення ефективних алгоритмів опуклу оптимізацію. Ця система полягає в повторюваній грі наступним чином:

Для ${\displaystyle t=1,2,...,T}$

• Учень отримує вхід ${\displaystyle x_{t}}$
• Учень видає ${\displaystyle w_{t}}$ з фіксованої опуклої множини ${\displaystyle S}$
• Природа повертає опуклу функцію втрат ${\displaystyle v_{t}:S\rightarrow \mathbb {R} }$.
• Учень зазнає втрат ${\displaystyle v_{t}(w_{t})}$ й уточнює свою модель

Метою є мінімізувати смуток, або різницю між сукупними втратами, та втратами ретроспективно найкращої фіксованої точки ${\displaystyle u\in S}$. Як приклад, розгляньмо випадок інтерактивної лінійної регресії найменших квадратів. Тут вектори ваг походять із опуклої множини ${\displaystyle S=\mathbb {R} ^{d}}$, а природа повертає опуклу функцію втрат ${\displaystyle v_{t}(w)=(\langle w,x_{t}\rangle -y_{t})^{2}}$. Зауважте, що ${\displaystyle y_{t}}$ неявно повертається разом з ${\displaystyle v_{t}}$.

Проте деякі задачі інтерактивного передбачування в систему ІОО не вписуються. Наприклад, в інтерактивному класифікуванні область передбачування та функції втрат не опуклі. У таких сценаріях використовують дві прості методики для уопуклювання^[en]: рандомізацію та сурогатні функції втрат^{[джерело?]}.

Нижче наведено кілька простих алгоритмів інтерактивної опуклої оптимізації:

Найпростіше правило навчання — намагатися обирати (на поточному кроці) гіпотезу, яка має найменші втрати над усіма минулими раундами. Цей алгоритм має назву «Іди за лідером» (англ. Follow the leader, FTL), а раунд ${\displaystyle t}$ задається просто як

${\displaystyle w_{t}=\operatorname {arg\,min} _{w\in S}\sum _{i=1}^{t-1}v_{i}(w)+R(w)}$

Цей метод відтак можливо розглядати як жадібний алгоритм. Для випадку інтерактивної квадратичної оптимізації (де функція втрат ${\displaystyle v_{t}(w)=||w-x_{t}||_{2}^{2}}$) можливо продемонструвати межу смутку, яка зростає як ${\displaystyle \log(T)}$. Проте для алгоритму ІЗЛ подібні межі неможливо отримати для інших важливих сімейств моделей, таких як інтерактивна лінійна оптимізація. Для цього потрібно видозмінити ІЗЛ, додавши регуляризацію.

Це природна видозміна ІЗЛ, яку використовують, щоби стабілізувати розв'язки ІЗЛ, й отримувати кращі межі смутку. Обирають функцію регуляризації ${\displaystyle R:S\rightarrow \mathbb {R} }$, і навчання в раунді t виконують таким чином:

${\displaystyle w_{t}=\operatorname {arg\,min} _{w\in S}\sum _{i=1}^{t-1}v_{i}(w)+R(w)}$

Як особливий приклад розгляньмо випадок інтерактивної лінійної оптимізації, тобто коли природа повертає функції втрат вигляду ${\displaystyle v_{t}(w)=\langle w,z_{t}\rangle }$. Крім того, нехай ${\displaystyle S=\mathbb {R} ^{d}}$. Припустімо, що обирають функцію регуляризації ${\displaystyle R(w)={\frac {1}{2\eta }}||w||_{2}^{2}}$ для деякого додатного числа ${\displaystyle \eta }$. Тоді можливо показати, що ітерація мінімізації смутку набуває вигляду

${\displaystyle w_{t+1}=-\eta \sum _{i=1}^{t}z_{i}=w_{t}-\eta z_{t}}$

Зауважте, що це можливо переписати як ${\displaystyle w_{t+1}=w_{t}-\eta \nabla v_{t}(w_{t})}$, що виглядає точно як покроковий градієнтний спуск.

Якщо S це натомість деякий опуклий підпростір ${\displaystyle \mathbb {R} ^{d}}$, то необхідно буде робити проєкцію на S, що дасть видозмінене правило уточнення

${\displaystyle w_{t+1}=\Pi _{S}(-\eta \sum _{i=1}^{t}z_{i})=\Pi _{S}(\eta \theta _{t+1})}$

Цей алгоритм відомий як відкладена проєкція (англ. lazy projection), оскільки вектор ${\displaystyle \theta _{t+1}}$ накопичує градієнти. Він також відомий як алгоритм подвійного усереднювання Нестерова. У цьому сценарії лінійної функцій втрат і квадратичної регулярізації смуток обмежений ${\displaystyle O({\sqrt {T}})}$, і відтак середній смуток зводиться до 0, як і бажано.

Наведеним вище доведено межу смутку для лінійних функцій втрат ${\displaystyle v_{t}(w)=\langle w,z_{t}\rangle }$. Щоб узагальнити цей алгоритм на довільну опуклу функцію втрат, використовують субградієнт ${\displaystyle \partial v_{t}(w_{t})}$ функції втрат ${\displaystyle v_{t}}$ як лінійне наближення ${\displaystyle v_{t}}$ близько ${\displaystyle w_{t}}$, що дає алгоритм інтерактивного субградієнтного спуску (англ. online subgradient descent, OSD):

Встановити початкові значення параметра ${\displaystyle \eta ,w_{1}=0}$

Для ${\displaystyle t=1,2,...,T}$

• Зробити передбачення з використанням ${\displaystyle w_{t}}$, отримати від природи ${\displaystyle f_{t}}$.
• Обрати ${\displaystyle z_{t}\in \partial v_{t}(w_{t})}$
• Якщо ${\displaystyle S=\mathbb {R} ^{d}}$, зробити уточнення ${\displaystyle w_{t+1}=w_{t}-\eta z_{t}}$
• Якщо ${\displaystyle S\subset \mathbb {R} ^{d}}$, зробити проєкцію сукупних градієнтів на ${\displaystyle S}$, тобто ${\displaystyle w_{t+1}=\Pi _{S}(\eta \theta _{t+1}),\theta _{t+1}=\theta _{t}+z_{t}}$

Алгоритм ІСС можливо використовувати для виведення меж смутку ${\displaystyle O({\sqrt {T}})}$ для інтерактивної версії ОВМ для класифікування, яка використовує завісні втрати ${\displaystyle v_{t}(w)=\max\{0,1-y_{t}(w\cdot x_{t})\}}$

Квадратично регуляризовані алгоритми ІЗРЛ ведуть до алгоритмів відкладених проєкцій градієнта, як описано вище. Щоби використати наведене вище для довільних опуклих функцій і регуляризаторів, використовують інтерактивний дзеркальний спуск^[en]. Оптимальну регуляризацію заднім числом може бути виведено для лінійних функцій втрат, це веде до алгоритму AdaGrad^[en]. Для евклідової регуляризації можливо показати межу смутку ${\displaystyle O({\sqrt {T}})}$, яку можливо вдосконалити далі до ${\displaystyle O(\log T)}$ для сильно опуклих та експоненційно угнутих функцій втрат.

Безперервне навчання (англ. continual learning) означає безперервне вдосконалення навченої моделі шляхом обробки безперервних потоків інформації.^[5] Можливості безперервного навчання важливі для програмних систем та автономних агентів, які взаємодіють у реальному світі, що постійно змінюється. Проте безперервне навчання це виклик для машинного навчання та моделей нейронних мереж, оскільки безперервне отримання доступної покроково інформації з нестаціонарних розподілів даних зазвичай призводить до катастрофічного забування^[en].

Парадигма інтерактивного навчання має різні інтерпретації залежно від вибору моделі навчання, кожна з яких має різні наслідки щодо передбачувальної якості послідовності функцій ${\displaystyle f_{1},f_{2},\ldots ,f_{n}}$. Для цього обговорення використано прототип алгоритму стохастичного градієнтного спуску. Як зазначено вище, його рекурсію задано формулою

${\displaystyle \textstyle w_{t}=w_{t-1}-\gamma _{t}\nabla V(\langle w_{t-1},x_{t}\rangle ,y_{t})}$

Перша інтерпретація розглядає метод стохастичного градієнтного спуску в застосуванні до визначеної вище задачі мінімізації очікуваного ризику ${\displaystyle I[w]}$.^[6] Дійсно, у випадку нескінченного потоку даних, оскільки вважається, що приклади ${\displaystyle (x_{1},y_{1}),(x_{2},y_{2}),\ldots }$ беруться з розподілу ${\displaystyle p(x,y)}$ н. о. р., то послідовність градієнтів ${\displaystyle V(\cdot ,\cdot )}$ у наведеній вище ітерації є н. о. р. вибіркою стохастичних оцінок градієнта очікуваного ризику ${\displaystyle I[w]}$, й відтак можливо застосувати результати складності для методу стохастичного градієнтного спуску для обмеження відхилення ${\displaystyle I[w_{t}]-I[w^{\ast }]}$, де ${\displaystyle w^{\ast }}$ це мінімізатор ${\displaystyle I[w]}$.^[7] Ця інтерпретація також справедлива у випадку скінченного тренувального набору; хоч при багатократних проходах даними градієнти вже й не є незалежними, все одно в особливих випадках отримати результати складності можливо.

Друга інтерпретація стосується випадку скінченного тренувального набору й розглядає алгоритм СГС як примірник методу покрокового градієнтного спуску.^[3] У цьому випадку натомість дивляться на емпіричний ризик:

${\displaystyle I_{n}[w]={\frac {1}{n}}\sum _{i=1}^{n}V(\langle w,x_{i}\rangle ,y_{i})\ .}$

Оскільки градієнти ${\displaystyle V(\cdot ,\cdot )}$ в ітераціях покрокового градієнтного спуску також є стохастичними оцінками градієнта ${\displaystyle I_{n}[w]}$, ця інтерпретація також пов'язана з методом стохастичного градієнтного спуску, але застосовується для мінімізації емпіричного ризику, а не очікуваного. Оскільки ця інтерпретація розглядає емпіричний ризик замість очікуваного, багаторазові проходи даними легко дозволені й фактично ведуть до жорсткіших меж на відхилення ${\displaystyle I_{n}[w_{t}]-I_{n}[w_{n}^{\ast }]}$, де ${\displaystyle w_{n}^{\ast }}$ — мінімізатор ${\displaystyle I_{n}[w]}$.

• Vowpal Wabbit^[en]: відкрита швидка позаядрова система інтерактивного навчання, яка вирізняється підтримкою низки зведень машинного навчання, зважування важливості, та вибором різних функцій втрат та алгоритмів оптимізації. Вона використовує гешувальний трюк^[en] для обмеження розміру набору ознак незалежно від обсягу тренувальних даних.
• scikit-learn: пропонує позаядрові втілення алгоритмів для
  • Класифікування: перцептрон, класифікатор СГС, наївний баєсів класифікатор.
  • Регресії: регресор СГС, пасивно-агресивний регресор.
  • Кластерування: мініпакетні k-середні.
  • Виділяння ознак: мініпакетне навчання словників^[en], покроковий МГК.

Парадигми навчання

• Покрокове навчання
• Відкладене навчання
• Автономне навчання^[en],^{[уточнити термін]} протилежна модель
• Навчання з підкріпленням
• Багаторукий бандит
• Кероване навчання

Загальні алгоритми

• Інтерактивний алгоритм
• Інтерактивна оптимізація^[en]
• Потоковий алгоритм
• Стохастичний градієнтний спуск

Моделі навчання

• Теорія адаптивного резонансу^[en]
• Ієрархічна часова пам'ять
• Алгоритм k-найближчих сусідів
• Навчане векторне квантування^[en]
• Перцептрон

• 6.883: Online Methods in Machine Learning: Theory and Applications. Alexander Rakhlin. MIT (англ.)