Изследователи от Microsoft предлагат алгоритъм за обучение с ниска точност за GBDT, базиран на градиентно квантуване

Дърветата на решенията с градиентно усилване са усъвършенствана техника за машинно обучение, често използвана в приложения от реалния свят, като електронна реклама, класиране при търсене, прогнозиране на времеви серии и т.н. Един недостатък на GBDT е, че неговото обучение се нуждае от аритметични операции върху цели числа с плаваща запетая с висока точност и обработка на големи масиви от данни, което ограничава мащабируемостта в разпределени среди.

В изследователска статия Quantized Training of Gradient Boosting Decision Trees, изследователски екип от Microsoft Research, DP Technology и Tsinghua University демонстрира, че GBDT могат да се възползват от обучение с ниска точност, предлагайки квантована методология с целочислена аритметика с ниска битова ширина за ефективна ниска точност прецизно GBDT обучение.

Изследователите предложиха да се използва квантована техника за обучение в градиенти, за да се намалят изискванията за висока точност на GBDT. Те квантуват градиентите в цели числа с невероятно ниска точност, позволявайки аритметичните операции с плаваща запетая да бъдат заменени с целочислени аритметични операции, намалявайки общите изчислителни разходи.

Изследователите също така въведоха два критични подхода за запазване на прецизността на квантуваното обучение, като двата подхода бяха дискретизация на стохастичен градиент и пренастройване на стойността на листа. Те не само представиха, но и демонстрираха своята ефективност както практически, така и теоретично, като потвърдиха, че предложеният метод позволява на GBDTs да използват изчислителни ресурси с ниска точност, за да постигнат ускорение на обучението, без да засягат производителността.

Изследователите са използвали както CPU, така и GPU, за да изградят предложената от тях система в своите емпирични оценки. В сравнение с най-съвременните GBDT техники както на CPU, така и на GPU, изследователите са постигнали до 2 пъти ускорения, използвайки квантувано обучение. Констатациите от проучването показват, че техниката може да ускори обучението на GBDT в настройки като единичен процес на процесори, единична операция на графичен процесор и разпределено обучение между процесори, демонстрирайки способността му да се адаптира към различни изчислителни ресурси.

Екипът твърди, че това ще бъде първият метод за обучение с ниска точност, описан за GBDT, и тяхната работа показва, че два или три-битови градиенти са подходящи за обучение с еквивалентна точност. Те очакват, че тези резултати ще доведат до по-добро разбиране и подобрения на конвенционалния GBDT алгоритъм.

This Article is written as a summary article by Marktechpost Staff based on the research paper 'Quantized Training of Gradient Boosting
Decision Trees'. All Credit For This Research Goes To Researchers on This Project. Checkout the paper and github link.

Please Don't Forget To Join Our ML Subreddit


Нишал Сони е стажант-консултант в MarktechPost. В момента той следва бакалавърска степен по технологии от Индийския технологичен институт (IIT), Бхубанешвар. Той е ентусиаст в областта на науката за данните и веригата за доставки и има силен интерес към нарастващата адаптация на технологиите в различни сектори. Той обича да общува с нови хора и винаги е готов да учи нови неща, когато става дума за технологии.


Leave a Comment