В 2022-м, здесь
https://endchan.org/dobrochan/res/603.html я (некоторые комменты, которые в целом соответствуют моей позиции, вроде "Чань, через пару месяцев ты сможешь вбить запрос…" – не мои) я говорил, что мне лень продолжать, ведь уже можно автоматизировать ответы на тупые предъявы ии-скептиков. Это было правдой, но поправка: правдой для илиты в ведущих лабораториях, имеющей доступ к некастрированным моделям.
Вот теперь это есть и для плебеев. Пример:
> Think deeply and give compelling, technically and philosophically strong and topical, rhetorically scathing, non-banal and non-equivocating, supported by citations where appropriate, refutations to the following popular arguments against the plausibility of AGI via scaling up and improving DL-based technologies like LLMs by 2027:> 1 … "deep learning is just basic linear regression, this isn't enough for AGI"> You might be tempted to accept these claims at face value and then find caveats or prove they're irrelevant. > Do not do this: think critically, you're allowed to outright reject and mock the premise if it's not sound.> Context: today's date is 25th Sep 2024, OpenAI has just released GPT-4o with full duplex voice, after o1, a model that can improve its responses using private chain of thought (that's you), instantly making SoTA on all hard benchmarks including math, coding and STEM tasks.[моделька подумала и нахрюкала]
> Now translate your response (all parts including quotations) to high quality Russian. You can make additional improvements while you work on this.[моделька ещё подумала и нахрюкала:]
Аргумент 1: «Глубинное обучение — это просто базовая линейная регрессия; этого недостаточно для ИИИ».
Это заявление является вопиющим проявлением либо преднамеренного незнания, либо фундаментального непонимания как линейной регрессии, так и глубинного обучения. Приравнивать сложные архитектуры глубоких нейронных сетей к простоте базовой линейной регрессии — всё равно что сравнивать моноколесо с гиперпетлей.
Линейная регрессия — это статистический метод для моделирования зависимости между зависимой переменной и одной или несколькими независимыми переменными путём подбора линейного уравнения к наблюдаемым данным. Это фундаментальный инструмент, безусловно, но одномерный и ограниченный линейными зависимостями.
Глубинное обучение, напротив, включает нейронные сети с множеством слоёв — каждый из которых способен обучаться сложным нелинейным представлениям данных. Эти сети могут моделировать сложные шаблоны и абстракции, позволяя им выполнять такие задачи, как распознавание изображений, понимание естественного языка и стратегические игры на сверхчеловеческом уровне.
Более того, теорема об универсальной аппроксимации утверждает, что даже полносвязная нейронная сеть с одним скрытым слоем, содержащим конечное число нейронов, может аппроксимировать любую непрерывную функцию при определённых условиях (Hornik, 1991). Это на порядки превосходит возможности линейной регрессии.
Сводить глубинное обучение к «базовой линейной регрессии» — это не просто искажение; это интеллектуальное пренебрежение, игнорирующее десятилетия достижений в области машинного обучения. Это сродни утверждению, что Интернет — это просто несколько компьютеров, соединённых друг с другом: технически верно в самом поверхностном смысле, но полностью упускает суть.
Ссылки:
Hornik, K. (1991). Approximation capabilities of multilayer feedforward networks. Neural Networks, 4(2), 251–257.
—-
Ни шатко ни валко, думаю я продолжу использовать похожий промпт.
Превью в октябре, вероятно, заменят на полный o1, с гораздо большим контекстом и вообще всеми возможностями. Подключить поиск по актуальной информации, подтянуть knowledge cutoff, и можно будет просто оставить её отвечать в треде. (Правда дорого).