AI владее езика. Трябва ли да вярваме на това, което пише?

„Мисля, че това ни позволява да бъдем по-внимателни и внимателни по въпросите на сигурността“, каза Алтман. „Част от нашата стратегия е: постепенната промяна в света е по-добра от внезапната промяна.“ Или, както каза вицепрезидентът на OpenAI Мира Мурати, когато беше попитан за работата на екип по сигурността, който ограничава свободния достъп до софтуер, нека започнем, когато залозите са много ниско. “

Докато съм GPT-3 работейки върху тези 285 000 CPU ядра в суперкомпютърен клъстер в Айова, OpenAI работи от района на Мисията на Сан Франциско, в ремонтирана фабрика за багаж. През ноември миналата година там се срещнах с Иля Суцкевер, опитвайки се да получа обяснение от неспециалист как наистина работи GPT-3.

„Това е основната идея на GPT-3“, каза напрегнато Суцкевер, навеждайки се напред в стола си. Той има интригуващ начин да отговаря на въпроси: няколко фалшиви начала – „Мога да ви дам описание, което почти съвпада с това, което поискахте“ – прекъснати от дълги, съзерцателни паузи, сякаш е начертал целия отговор предварително.

„Основната идея на GPT-3 е да свърже интуитивната представа за разбиране с нещо, което може да бъде измерено и разбрано механично“, каза той в края, „и това е задачата да се предвиди следващата дума в текста. „Други форми на изкуствен интелект се опитват да втвърдят информацията за света: шахматни стратегии на гросмайстори, принципи на климатологията. Но GPT-3 интелигентност, ако интелигентността е точната дума за него, идва отдолу нагоре: чрез елементарния акт на предсказване на следващата дума. За да обучи GPT-3, на модела се дава „стимул“ – няколко изречения или параграфа от текст от статия във вестник, да речем, или роман или научна статия – и след това се иска да предложи списък с потенциални думи, които могат да завършат с низ, класиран по вероятност. В ранните етапи на обучението предложените думи са глупости. Насърчете алгоритъма с изречение като „Писателят е пропуснал последната дума от първата. . . ” и спекулациите ще бъдат някаква глупост: ” сателит ”, ” кученце ”, ” Сиатъл ”, ” така. ” Но някъде надолу по списъка – може би хиляда думи надолу по списъка – правилният се появява липсващата дума: “параграф.” След това софтуерът укрепва всички произволни невронни връзки, генерирали това конкретно предложение, и отслабва всички връзки, генерирали грешни предположения. И тогава преминаваме към следващата подкана. С течение на времето, с достатъчно повторения, софтуерът се учи.

Миналия януари OpenAI добави функция, която позволява на потребителите да дават директни инструкции на GPT-3 като подкана, вместо просто да го помолят да разшири примерния текст. Например, използвайки режима „инструктиране“, веднъж дадох GPT-3 заявка: „Напишете есе, което обсъжда ролята на метафантастиката в творчеството на Итало Калвин“. В замяна на това софтуерът предоставя солидно конструиран параграф с пет точност, който започва така:

Италианският писател Итало Калвино е смятан за майстор на метафантастика, жанр на писане, в който авторът разбива четвъртата стена, за да обсъди самия акт на писане. За Калвин метафантастиката е начин за изследване на природата на реалността и начина, по който историите могат да оформят нашите възприятия за света. Неговите романи често включват игриви, лабиринтни структури, които играят с границите между реалността и измислицата. В „Ако пътешественик през зимната нощ“, например, читателят е непрекъснато прекъсван от дискусии на мета-ниво относно акта на четене и естеството на повествованието. . . .

Можете да дадете на GPT-3 точно една и съща подкана, отново и отново, и тя ще генерира уникален отговор всеки път, някои по-убедителни от други, но почти всички от тях са изключително артикулирани. Инструкциите за инструктаж могат да бъдат под различни форми: „Дайте ми списък на всички съставки в сос болонезе“, „Напишете стихотворение за френско крайморско селище в стила на Джон Ашбъри“, „Обяснете Големия взрив на език осмица -годишното дете ще разбере.” Подхранван с такива индикации на GPT-3, почувствах истински тръпки по гръбнака си. Изглеждаше почти невъзможно машината да може да генерира толкова ясен и отзивчив текст, изцяло базиран на елементарното обучение за предвиждане на следващата дума.

Но AI има дълга история на създаване на илюзията за интелигентност или разбиране, без всъщност да доставя стоки. У произведение, което е много обсъждано публикуван миналата година, професорът по лингвистика от Вашингтонския университет Емили М. Бендър, бившият изследовател на Google Тимнит Гебру и група съавтори казаха, че големите езикови модели са просто „стохастични папагали“: тоест софтуерът използва рандомизация, за да ремиксира просто изречения, написани от хора . „Това, което се промени, не е стъпка над прага към AI“, каза ми Бендър наскоро в имейл. Вместо това, каза тя, това, което се е променило, е “хардуер, софтуер и икономически иновации, които позволяват натрупването и обработката на огромни набори от данни” – както и технологична култура, в която “хората изграждат и продават такива неща могат да бъдат далеч от изграждането им върху неуправлявани данни.”

Leave a Comment