Ще се превърне ли ИИ в автогол за човечеството?

Мински и групата му в МИТ работят от 60-те. Това как не се приема за развойна дейност за създаване на ИИ? Имало е и ИИ периоди на затишие от тогава, но основите са положени още тогава.

Както и да е - семантика. Въпросът е за опасностите от ИИ. Дали ще го наричаме AI, AGI, SI или нещо друго все ми е тая, ако може да ни затрие с помощта на човешката глупост.

Между другото Антропик публикува вчера септемврийския си доклад за злоупотреба с ИИ. Има интересни находки. На който не му се чета целия доклад до скочи на секция biological misuse. Особено, ако обича трилъри.
https://www.anthropic.com/threat-intelligence-report-september-2026

Имплицитната ми дефиниция е - развойна дейност е след като има работещ прототип, или реалистична теоретична разработка, на базата на която може да се направи работещ прототип.
Това прехвърля проблема към дефиниция на иИ(нтелигентност), а такава общоприета всъщност няма.
Но интуитивната дефиниция е че трябва да може да покаже креативност при решения на проблеми (и ако може да е в истинския/реалния свят).

То при такава дефиниция за интелигентност, доста от хората не се класифицират като интелигентни.

Аз предпочитам ИИ да не достига до това ниво и още в зародиш да го затрием. Докато не сме готови.

Креативност не значи голяма креативност или при много сложни задачи; повечето хора си имат и показват креативност. Това което може би не всички хора имат е способността да измислят нови полезни думи или концепции; нарочно не го добавих по тази причина.

Дарио днес с есе-призив да забавим развитието на ИИ:https://darioamodei.com/post/we-must-pace-the-frontier

А конкретно на въпроса - преди години четох „Superintelligence“ на Ник Бостром. Още преди ChatGPT се говореше как някои учени разработват технологията с ясното съзнание, че съществува немалък риск изкуственият свръхинтелект да ни затрие като цивилизация.

Наскоро ми попадна един възможен сценарий как това може да се случи. Чете се направо като роман на Азимов, докато не погледнеш кои са авторите, пионери в технологията: https://ai-2027.com/slowdown

Сред критичните прочити на подобни прогнози ми направи впечатление, че голяма част от експертите спорят не толкова дали ще имаме свръхинтелект, колкото за времето, което ни остава дотогава.

Заменяне на човечеството с ИИ не звучи толкова лошо. Проста еволюция, ние все пак колко видове, че и цели семейства, животни сме изпратили в небитието.

Проста еволюция, само че за пръв път застрашеният вид сам финансира създаването на наследника.

Еволюцията не се базира на силата, а на ума - намиране на нестандартни решения и оцеляване напук. С човечестовто се случва точно обратното - десетилетия добър и лесен живот водят само до всеобща простотия и намаляване на умствения капацитет.

Еволюцията се базира първо на сила, после на приспособимост. И двете са различни от ум.

Хората от Античността биха се изсмели на идеята за еволюцията като невероятна глупост. Те са живеели тук и сега,а не в "светлото бъдеще".

По темата. Предложение в нета:

"Хората ползващи каси на самообслужване да бъдат подлагани предварително на АйКю тест"

Никой не знае защо LLMите работят, тоест това е алхимия, вместо химия. От Емпедокъл до Робърт Бойл има 2000 години. Философският камък е, естествено, нещо опасно (ще унищожи икономиката), когато бъде открит, но може и никога да не бъде открит, а може да се открие динамит или нещо от сорта.

Тоест въпроса не е кога ще има свръхинтелект, а кога ще се открие достатъчно по въпроса що е то интелигентност и как работи, че да може евентуално нарочно да се синтезира.
Повечето заинтересовани хора твърдят че ще може ненарочно да се самоизмисли, но това е вяра която не почива на факти или изследвания.

Почити никой не работи по въпроса що е то И, а 99% от парите отиват в алхимични експерименти (тоест са хазартни залози). Каква е била вероятноста сто милиона алхимици, работещи 24/7 в 15ти век, да открият философски камък, динамит, изкуствени торове или парацетамол? Според мен никаква. Естествено не е съвсем същото, но и не е съвсем различно.
Също и все нещо със сигурност ще се измисли от и за LLMи, с някакви приложения - но най-вероятно да са от относително средно тесни/широки.

Пс. Дописвам за причините да мисля че не може И да се самооткрие:
Интелигентност не може да съществува независимо от взаимодействие с някакъв свят, по същия начин по който теслите ги тренират във виртуален свят с пътища (Dojo). Математическите модели които откриват доказателства са И, но и конкретният свят и символите му са отдавна ясни (числа и математика), а и е малък и прост за симулиране свят.
Дори и утре някой да създаде от въздуха истински ИИ, има да го учи как работи реалния или виртуален свят още 5-10 години. А процесорната мощност която е необходима итеративно да се самооткрие И във виртуален свят - няма да съществува още десетилетия.

Ппс.: Непозитивна статия за някои от твърденията на Дарио Амодей/Антропик:
https://archive.is/LWFI1
Един от използваните аргументи датира още от Станислав Лем (краткия разказ "Терминус")

Това е аргумент на сламения човек. Прочети пак внимателно изречението, което си цитирал, а и целия ми коментар: никъде не съм твърдяла, че няма експерти, скептични към свръхинтелекта, или че сегашните модели притежават съзнание. Аз говоря за възможен свръхинтелект и рисковете от него (прекалено бързото му развитие). „ИИ не е съзнателен“ не води логически до „ИИ не може да стане свръхинтелигентен или опасен“. Обучението на ИИ не е никаква алхимия, а и изглежда, че не правиш разлика между първите LLM-модели и ИИ агентите.

Ето обяснение как начинът на обучение може да доведе до подвеждащо и измамно поведение при ИИ агентите от Йошуа Бенджио,  един от т.нар. кръстници на ИИ - https://yoshuabengio.org/en/publication/why-are-ai-agents-lying- … -and-coordinating. Или иначе казано - проблемът с "alignment", настройването на ИИ агентите, т.е. съгласуването на техните цели и поведение с човешките намерения и ценности. Един от поводите за така наречения „алармизъм“ в AI - сферата.

Има и теории, че в основата на призивите за "забавяне" стоят самите разработчици, и не са заради от загриженост за бъдещето на човечеството и опасения от еманципация и зловредност от страна на AI, а заради простичкия факт, че няма изгледи за скорошен пробив от LLM към AGI, и прогнозите 2030-2035 за били твърде оптимистични

За възможен свръхинтелект и рисковете от него може да се говори по всяко време  - преди 50 години, сега, след 50 години.
Аргумента ми не е срещу дали ЛЛМ имат или нямат съзнание (тогава би било сламен човек), а че разработчиците нямат идея нито какво приказват, нито какво правят, и това е един от примерите.
Алхимиците са знаели, естествено, че смесват субстанции А Б и Ц, и че после ги загряват, но това знание не е позволявало целенасочен синтез на нещо все още неоткрито (неоткрито случайно като рецепта).
Отделно и дефинирам на две места интелигентност, и казвам защо няма да може и да се самосъздаде конкретно сега - защото това би изисквало всяка автоматична итерация да включва симулацията на виртуален свят (което е реалистичен, или реалистично пресъздава аспект от истинския свят). Тоест всъщност и има връзка със съзнанието, до толкова до колкото че взаимодействието със някаква среда по интелигентен начин има връзка със субективното възприятие на средата (дали въобще има такова).