6 области на AI и машинно обучение за наблюдение отблизо

За повече новини и анализ на AI, регистрирайте се в бюлетина ми тук.

Дестилирането на общоприетото определение за това, което се квалифицира като изкуствен интелект (AI), се превърна във възродена тема на дебатите в последно време. Някои преобразуват AI като „когнитивни изчисления“ или „машинен интелект“, докато други неправилно обменят AI с „машинно обучение“. Това е отчасти, защото AI не е една технология. Всъщност това е широко поле, съставено от много дисциплини, вариращи от роботика до машинно обучение. Крайната цел на AI, която повечето от нас потвърждават, е да изгради машини, способни да изпълняват задачи и когнитивни функции, които иначе са само в обхвата на човешката интелигентност. За да стигнат дотам, машините трябва да могат да научат тези възможности автоматично, вместо всяка от тях да бъде изрично програмирана от край до край.

Удивително е колко голям напредък е постигнал полето на AI през последните 10 години, като се започне от самостоятелно управлявани автомобили до разпознаване и синтез на реч. На този фон AI се превърна в тема за разговори във все повече и повече компании и домакинства, които разглеждат AI като технология, която няма още 20 години, но като нещо, което влияе на живота им днес. Всъщност, популярните доклади за пресата на AI почти всеки ден и технологичните гиганти, един по един, формулират своите значителни дългосрочни стратегии за ИИ. Докато няколко инвеститори и участници са нетърпеливи да разберат как да получат стойност в този нов свят, мнозинството все още си чеше главата, за да разбере какво означава всичко това. Междувременно правителствата се борят с последиците от автоматизацията в обществото (виж прощалния адрес на Обама).

Като се има предвид, че AI ще повлияе на цялата икономика, участниците в тези разговори представляват цялото разпределение на намеренията, нивата на разбиране и степента на опит със изграждането или използването на AI системи. Поради това е важно дискусията за ИИ - включително въпросите, заключенията и препоръките, получени от нея - да се основава на данни и реалност, а не на предположения. Далеч е твърде лесно (а понякога и вълнуващо!) Да екстраполирате последиците от резултатите от публикувани научни изследвания или съобщения за технологична преса, спекулативни коментари и мисловни експерименти.

Ето шест области на ИИ, които са особено забележителни със своята способност да повлияят на бъдещето на цифровите продукти и услуги. Описвам какви са те, защо са важни, как се използват днес и включвам списък (в никакъв случай не изчерпателен) на компании и изследователи, работещи по тези технологии.

 Регистрирайте се тук, така че да кацне направо във вашата пощенска кутия.

1. Укрепване на обучението (RL)

RL е парадигма за учене чрез опит и грешка, вдъхновена от начина, по който хората учат нови задачи. При типична настройка на RL, агентът има задачата да наблюдава текущото му състояние в дигитална среда и да предприема действия, които увеличават максимално начисляването на дългосрочно възнаграждение, което е зададено. Агентът получава обратна връзка от околната среда в резултат на всяко действие, така че да знае дали действието насърчава или възпрепятства неговия напредък. Следователно RL агентът трябва да балансира изследването на своята среда, за да намери оптимални стратегии за натрупване на награда с използване на най-добрата стратегия, която е намерил за постигане на желаната цел. Този подход стана популярен от Google DeepMind в работата им по Atari games and Go. Пример за работа с RL в реалния свят е задачата за оптимизиране на енергийната ефективност за охлаждане на центрове за данни на Google. Тук RL система постигна 40% намаление на разходите за охлаждане. Важно естествено предимство на използването на RL агенти в среда, която може да бъде симулирана (например видеоигри) е, че тренировъчните данни могат да се генерират в трови и на много ниска цена. Това е в пълен контраст с контролираните задачи за задълбочено обучение, които често изискват данни за обучение, които са скъпи и трудни за набавяне от реалния свят.

  • Приложения: Множество агенти, които учат в своя собствена среда на споделен модел или като взаимодействат и се учат един от друг в една и съща среда, учат се да навигират в 3D среди като лабиринти или градски улици за автономно шофиране, обратното подсилване, учене за рекапитулиране на наблюдаваното поведение като научите целта на задачата (напр. да научите да шофирате или давате герои на видеоигри, които не са играчи, с човешко поведение).
  • Главни изследователи: Питър Абиел (OpenAI), Дейвид Силвър, Нандо де Фрейтас, Рая Хадел, Марк Белемаре (Google DeepMind), Карл Расмусен (Кеймбридж), Рич Сътън (Албърта), Джон Шау-Тейлър (UCL) и други.
  • Фирми: Google DeepMind, Prowler.io, Osaro, MicroPSI, Maluuba / Microsoft, NVIDIA, Mobileye, OpenAI.

2. Генеративни модели

За разлика от дискриминационните модели, които се използват за задачи за класификация или регресия, генеративните модели учат разпределение на вероятностите по примери за обучение. Чрез вземане на проби от това високомерно разпределение генеративните модели извеждат нови примери, подобни на данните за обучение. Това означава, например, че генеративният модел, обучен върху реални изображения на лица, може да изведе нови синтетични изображения на подобни лица. За повече подробности за това как работят тези модели, вижте страхотното ръководство за NIPS 2016 на Ian Goodfellow. Архитектурата, която той въведе, генеративните състезателни мрежи (GANs), са особено горещи в момента в света на научните изследвания, тъй като предлагат път към безконтролното обучение. С GANs има две невронни мрежи: генератор, който приема произволен шум като вход и е натоварен със синтезиране на съдържание (например изображение), и дискриминатор, който е научил как изглеждат реалните изображения и има задачата да идентифицира дали изображенията са създадени от генератора са истински или фалшиви. Състезателното обучение може да се разглежда като игра, в която генераторът трябва итеративно да се научи как да създава образи от шум, така че дискриминаторът вече да не може да различава генерираните изображения от реалните. Тази рамка се разширява до много видове данни и задачи.

  • Приложения: Симулирайте възможни фючърси на времеви серии (например за планиране на задачи в обучението за подсилване); супер разделителна способност на изображенията; възстановяване на 3D структура от 2D изображение; генерализиране от малки белязани набори от данни; задачи, при които един вход може да даде множество правилни изходи (например прогнозиране на следващия кадър във vide0; създаване на естествен език в разговорни интерфейси (напр. ботове); криптография; полууправляемо обучение, когато не са налични всички етикети; трансфер на артистичен стил; синтезиране на музика и глас; изображение в картина.
  • Фирми: Twitter Cortex, Adobe, Apple, Prisma, Jukedeck *, Creative.ai, Gluru *, Mapillary *, Unbabel.
  • Главни изследователи: Ian Goodfellow (OpenAI), Yan LeCun и Soumith Chintala (Facebook AI Research), Шакир Мохамед и Aäron van den Oord (Google DeepMind), Alyosha Efros (Berkeley) и много други.

3. Мрежи с памет

За да могат системите AI да се обобщават в различни реални среди точно както ние, те трябва да могат непрекъснато да учат нови задачи и да помнят как да ги изпълняват в бъдеще. Въпреки това, традиционните невронни мрежи обикновено не са в състояние да учат такива последователни задачи, без да забравят. Този недостатък се нарича катастрофално забравяне. Това се случва, защото тежестите в мрежа, които са важни за решаване на задача А, се променят, когато мрежата впоследствие бъде обучена да решава за задача Б.

Съществуват обаче няколко мощни архитектури, които могат да дадат невронни мрежи с различна степен на памет. Те включват дългосрочни мрежи от паметта (повтарящ се вариант на невронната мрежа), които са способни да обработват и предсказват времеви редове, диференцируемият невронни компютър на DeepMind, който комбинира невронни мрежи и системи с памет, за да се научат и да навигират сложни структури от данни самостоятелно, алгоритъмът за еластична консолидация на теглото, който забавя обучението на определени тегла в зависимост от това колко са важни за по-рано вижданите задачи, и прогресивните невронни мрежи, които учат странични връзки между модели, специфични за задачите, за извличане на полезни функции от предварително научени мрежи за нова задача.

  • Приложения: Учебни агенти, които могат да се генерализират в нови среди; роботизирани задачи за контрол на рамото; автономни превозни средства; прогнози за времеви серии (например финансови пазари, видео, IoT); разбиране на естествен език и предсказване на следващата дума.
  • Компании: Google DeepMind, NNaisense (?), SwiftKey / Microsoft Research, Facebook AI Research.
  • Главни изследователи: Алекс Грейвс, Рая Хадел, Корай Кавуккуоглу (Google DeepMind), Юрген Шмидхубер (IDSIA), Джефри Хинтън (Google Brain / Торонто), Джеймс Уестън, Сумит Чопра, Антоан Бордес (FAIR).

4. Учене от по-малко данни и изграждане на по-малки модели

Моделите за дълбоко обучение се отличават с това, че изискват огромни количества данни за обучение, за да достигнат най-съвременните постижения. Например предизвикателството за мащабно визуално разпознаване на ImageNet, на което екипите предизвикват своите модели за разпознаване на изображения, съдържа 1,2 милиона тренировъчни изображения, ръчно обозначени с 1000 категории обекти. Без мащабни данни за обучение, моделите за дълбоко обучение няма да се сближат в оптималните си настройки и няма да се справят добре при сложни задачи като разпознаване на реч или машинен превод. Това изискване за данни нараства само когато една невронна мрежа се използва за решаване на проблем от край до край; тоест, вземане на сурови аудио записи на реч като входни и изходящи текстови транскрипции на речта. Това е в контраст с използването на множество мрежи, всяка от които предоставя междинни представи (напр. Суров аудио вход → фонеми → думи → изход на текстови преписи или необработени пиксели от камера, картографирана директно на команди за управление) Ако искаме AI системите да решават задачи, при които данните за обучението са особено трудни, скъпи, чувствителни или отнемат много време, е важно да разработим модели, които могат да научат оптимални решения от по-малко примери (т.е. едно или нулево обучение). Когато се тренират на малки набори от данни, предизвикателствата включват преоборудване, затруднения при работа с външни хора, разлики в разпределението на данните между обучение и тест. Алтернативен подход е да се подобри усвояването на нова задача чрез прехвърляне на знания модел на машинно обучение, придобит от предишна задача, като се използват процеси, наречени колективно като трансферно обучение.

Свързан проблем е изграждането на по-малки архитектури на дълбоко обучение с най-модерно изпълнение, използвайки подобен брой или значително по-малко параметри. Предимствата ще включват по-ефективно разпределено обучение, тъй като данните трябва да се комуникират между сървърите, по-малка честотна лента за експортиране на нов модел от облака към крайно устройство и подобрена осъществимост при внедряване на хардуер с ограничена памет.

  • Приложения: Обучение на плитки мрежи, като се научим да имитираме работата на дълбоки мрежи, първоначално обучени на големи етикетирани данни за обучение; архитектури с по-малко параметри, но еквивалентна производителност на дълбоки модели (например SqueezeNet); машинен превод.
  • Компании: Geometric Intelligence / Uber, DeepScale.ai, Microsoft Research, любопитна AI компания, Google, Bloomsbury AI.
  • Главни изследователи: Зубин Гахрамани (Кеймбридж), Йошуа Бенджо (Монреал), Джош Тененбаум (MIT), Бренданското езеро (Ню Йорк), Ориол Виниалс (Google DeepMind), Себастиан Ридел (UCL).

5. Хардуер за обучение и изводи

Основен катализатор за прогреса в AI е пренареждането на графични процесорни единици (GPU) за обучение на големи модели на невронни мрежи. За разлика от централния процесор (CPU), който изчислява последователно, графичните процесори предлагат масивна паралелна архитектура, която може да се справя едновременно с множество задачи. Като се има предвид, че невронните мрежи трябва да обработват огромни количества (често данни с големи размери), обучението на GPU е много по-бързо, отколкото при процесори. Ето защо GPU наистина стават лопати към златния прилив още от публикуването на AlexNet през 2012 г. - първата невронна мрежа, внедрена в GPU. NVIDIA продължава да води таксата през 2017 г., преди Intel, Qualcomm, AMD и по-скоро Google.

Въпреки това, GPU не са създадени по предназначение за обучение или изводи; те са създадени за изобразяване на графики за видео игри. Графичните процесори имат висока изчислителна точност, която не винаги е необходима и страдат от честотна лента на паметта и проблеми с пропускането на данни. Това откри полето за нова порода стартъпи и проекти в големи компании като Google за проектиране и производство на силиций специално за приложения с машинно обучение с големи размери. Подобренията, обещани от новите дизайни на чипове, включват по-голяма честотна лента на паметта, изчисляване на графики вместо вектори (GPU) или скалари (CPU), по-висока плътност на изчисленията, ефективност и производителност на Watt. Това е вълнуващо заради ясните ускоряващи се възвръщаемости AI системите доставят на своите собственици и потребители: По-бързо и по-ефективно обучение за модели → по-добро потребителско изживяване → потребителят се ангажира с продукта повече → създава по-голям набор от данни → подобрява производителността на модела чрез оптимизация. По този начин онези, които са в състояние да тренират по-бързо и да разгърнат AI модели, които са изчислителни и енергийно ефективни, са в значително предимство.

  • Приложения: По-бързо обучение на модели (особено на графики); енергия и ефективност на данните, когато правите прогнози; работещи AI системи на ръба (IoT устройства); винаги слушащи IoT устройства; облачна инфраструктура като услуга; автономни превозни средства, дронове и роботика.
  • Фирми: Graphcore, Cerebras, Isocline Engineering, Google (TPU), NVIDIA (DGX-1), Nervana Systems (Intel), Movidius (Intel), Scortex
  • Главни изследователи:?

6. Симулационни среди

Както беше обсъдено по-рано, генерирането на данни за обучение за AI системи често е предизвикателство. Нещо повече, AI трябва да обобщим в много ситуации, ако те са ни полезни в реалния свят. По този начин разработването на дигитална среда, симулираща физиката и поведението на реалния свят, ще ни предостави тестови легла за измерване и обучение на общата интелигентност на ИИ. Тези среди представят сурови пиксели на AI, които след това предприемат действия, за да решат целите, които са им поставени (или научени). Обучението в тези симулационни среди може да ни помогне да разберем как AI системите се учат, как да ги подобрим, но и да ни предостави модели, които потенциално могат да се прехвърлят в реални приложения.

  • Приложения: Учене за шофиране; производство; Индустриален дизайн; разработване на игри; умни градове.
  • Компании: Невъзможно, Unity 3D, Microsoft (Minecraft), Google DeepMind / Blizzard, OpenAI, Comma.ai, Unreal Engine, Amazon Lumberyard
  • Изследователи: Андреа Ведалди (Оксфорд)

Регистрирайте се в моя бюлетин, обхващащ AI новини и анализи от света на технологиите, изследователската лаборатория и пазара на частни / публични компании.

Заповядайте на следващата ни среща в Лондон.АИ на 3 март, за да чуете по тези теми! Благодаря на Alexandre Flamant за доказателството, че чете това парче.

Бих искал да чуя вашите мисли *. Коментирайте по-долу или ме пингирайте в Twitter (@nathanbenaich).