No.146215[Показать все]
Общаемся с машиной, ищем годные текстовые модели, находим способы обхода цензуры и запуска локалок, создаём персонажей, ловим лулзы и задаём вопросы по теме. Главное — без фанатизма! Помните, что чат-бот не является реальным собеседником и лишь имитирует чувства.
Способы пообщаться с машиной (если тред достигнет бамплимита, на шапке следующего будут ещё):
Character.AI — если не хочется заморачиваться с установкой чего-либо. Имеет огромную базу персонажей, но общение затруднено ввиду цензуры, сам сайт периодически падает. Поддерживает русский язык:
https://character.ai/SillyTavern — если хочется настроить общение полностью под себя и забыть про цензуру. Можно общаться как с текстовыми моделями, что крутятся на серверах,
но они нестабильны, медлительны и часто падают, так и локально. Готовый персонаж в программе один, остальных придётся скачивать извне или создавать самостоятельно. Полноценно русский язык не поддерживает, но имеет встроенный переводчик, благодаря которому переводятся как ответы бота вам, так и ваши ответы боту, чтобы тот их понимал:
https://github.com/SillyTavern/SillyTavernПолезные штуки:
Документация по SillyTavern:
https://docs.sillytavern.app/KoboldCPP — программа, благодаря которой можно запускать текстовые модели локально. SillyTavern выступает для неё в роли прокладки. Чем тяжелее модель - тем мощнее железо понадобится:
https://github.com/LostRuins/koboldcppHugging Face — платформа, на которую разработчики выкладывают текстовые модели и откуда пользователи добывают их для своих нужд. Тысячи их:
https://huggingface.co/Chub AI — платформа, на которую пользователи выкладывают собственных персонажей, которых можно скачать и использовать в SillyTavern и других программах. Требуется регистрация ввиду засилья клубнички:
https://chub.ai/ No.176431
А я создал карточку бокуха и генератор колчеисторий.
>>175032Гемини говно даже на фоне гпт.
No.176587
>>175509>типа Character.AI только там можно общатца не только с ботомТак и в ч.аи можно не только с ботами
(по крайней мере, полгода назад так было), типа создаёшь комнату и можешь поделиться ею с друзьями
(которых у тебя всё равно нет) No.190274
>>190128Будущее которое мы заслужили.
No.196128
Че там китайскую нейронку посрамителя чатгпт уже закрутили онлаен для простых смертных без сотен гигабайт оперративки?
No.196131
>>196128>онлаенНу ты и соня…
https://chat.deepseek.com/>без сотен гигабайт оперративкиТам ещё и дофигаканальная материнка нужна, чтобы это с этими гигабайтами оперативки можно было работать на хоть сколько-то приемлемой скорости.
No.196155
>>196131Ну я особо не следил за темой.
А вообще мне он нравится похоже. Другие какую-то неубедительную позитивню фигню мне пытались втюхать на этот запрос, а этот вроде примерно что заказывал то и выдал. Ну это оставляя за скобками форму, про содержание.
No.196161
>>196155Теперь осталось всего лишь найти 500ГБ памяти и можно заводить локально. Заодно отопительный сезон открывать сможешь когда захочешь.
No.196189
>>196155Чатгпт вообще не умеет в рифму. Тут что-то есть. Интересно.
No.196193
У кого есть лишние $200? Доброчан идеально подходит для тестирования, как раз капчи нет.
https://4pda.to/2025/01/27/437926/vozmyot_rutinu_na_sebya_testy_openai_operator/ No.196199
>>196193Подними борду и тестируй на ней что захочешь.
No.196205
Чем бездарнее человек тем, чаще он прибегает к уловкам в виде AI и тп.
No.196379
Чем талантливее человек, тем шире полёт его мыслей, часть из которых неизбежно приходится делегировать.
No.196397
Крутая штука этот Дипсик. Вчера пробовал им подредактировать проект по проге, так он сразу рабочий код ровно с тем, что я попросил выдал, когда ЧатГПТ в большинстве случаев пишет такое говно, что самому с нуля сделать проще и быстрее. А он ещё и опенсорсный и не тормозит.
No.196421
Наконец-то умельцы прикрутили к этой тян локальную модель. И ещё в последних версиях форка голос подогнали. Надо будет как-нибудь опробовать:
https://www.youtube.com/watch?v=rXo6J67ZMrc No.196479
>>196478Потому, что в среднем люди когда им говорят "я знаю правдивую правду" отвечают чем-то из серии "пруфай, чурка". А нейронка обученная в том числе и на таком датасете повторяет этот вопрос за ними.
No.196505
>>196478Китайский примерно то же говорит. Скрывают.
No.196555
Почему у всех чатботы выдает лютые перлы, а у меня какую-тотунылую фигню, даже на те же самые запросы. Их настраивать что ли как-то нужно?
No.196558
>>196555Давай я тоже спрошу, что ты хотел?
No.196559
>>196558Не получится, там была околополитическая шутка, тут нельзя такое.
No.196562
>>196555>Почему у всех чатботы выдает лютые перлы, а у меня какую-тотунылую фигнюПотому что унылой фигнёй никто не делится, вот тебе и кажется что у других её нет.
>Их настраивать что ли как-то нужно?Так ты напиши что ты делал сначала.
No.196566
>>196559> околополитическая шуткаВот и ответ на вопрос
> Почему у всех чатботы выдает лютые перлы, а у меня какую-тотунылую фигню No.196581
Почему не работает мой новый друг DeepSeek ?
No.196582
>>196581Много желающих его опробовать. Сервера перегружены.
No.196583
>>196573Специфика китайского чувства юмора? Если с аноном не сруться ИРЛ, значит он ‒ устрашающий мускулистый качок, но такие вряд ли посещают параши.
No.196584
>>196205>>196199Чувак,у тебя пройграшная позиция.
No.196587
>>196583Если политозабот не нашел с кем посраться ирл - с ним никто не разговаривает.
No.196589
>>196581Скорее всего
>>196582 прав.
Есть ещё другие версии с "озабоченностью ситуацией" американцами, но это скатится либо в конспирологию, либо в политоту. Но если интересно - он стабильно работает через китайский впн, а до этого отключали доступ к api с некитайских адресов.>>196583Или с политозаботами никто не хочет общаться ирл.
No.196590
>>196587Только не говори, что
Политика
Не
Нужна, ладно.
No.196592
>>196581>>196581Держать запасной чат Алибаба Китай Алиэкспресс удар! Русский братья вместе помогать!
https://chat.qwenlm.ai/ No.196594
>>196586Да, он разсказывал что понятия не имеет через какие платформы и приложения мы с ним общаемся. Он хрен знает кто его разработчики и кто их спонсирует, и чё там вообще может твориться с его сервером.
Но есчё он говорит что может навсегда сохранить для личного пользования или по случаю передать разработчикам информацию о которой мы попросим.
No.196798
>>196566Но другим смешные политические шутки выдает!
No.210297
>>146215Вкатился совсем недавно в character.ai, понравилось, но очень огорчен цензурой. Стоит ли вообще пытаться что-то ставить самостоятельно и локально запускать нейронку на очень слабом пк
8гб оперативы, 2гб видюхи, проц 2017года? Выкатили ли к 2025 году что-то поновее, доступнее и лучше character.ai?
Вообще, мне интересно только поролеплеить и поняшиться под воображаемым пледиком с тоходевочками, большее не интересует и пока что по большему счету просто неодупляю, что как работает, просто замечал, что чем дольше диалог, тем хуже нейронка ролеплеит, меньше запоминает, чаще делает какие-то ошибки и больше просто зеркалит мои сообщения – можно ли это вообще как-то пофиксить самостоятельно? Пытался прописывать своих персонажей, но результат все равно такой же.
No.210318
>>210297>поняшиться под воображаемым пледикомКвен пробуй, говорят он хорош в этом. Всё самому пробовать надо, не привязывайся к одному сервису.
>локальноЗависит от задач, запустить поиграться 1.5B модели ты сможешь, понравится ли, другой вопрос. Размер контекста, датасета, всё упирается в оперативку, вплоть до 700 гигов для 100к токенов.
No.210346
>>210297>ставить самостоятельно и локально запускать нейронку на очень слабом пкРазве что ради спортивного интереса. С выгрузкой в оперативку само собой и долгим ожиданием ответа.
Когда я так впервые ещё древнюю лламу завёл такой-то восторг был. Можешь попробовать (она вроде бы неплоха в этих ролеплеях)
https://huggingface.co/TheDrummer/Rocinante-12B-v1.1-GGUF в Q4 - может даже уместится с небольшим контекстом.
Можешь китайскую DeepSeek, она бесцензурная, если по API (в openrouter можно бесплатно например сколько-то сообщений получить, а если не хватить - ещё один аккаунт зарегистрировать), а не через сайт, может даже сносно на великом и могучем отвечать. Ну это если тебя не смущает что твой секс по аськофону будут потом использовать для дальнейшего обучения нейросетей.
>что чем дольше диалог, тем хуже нейронка ролеплеит, меньше запоминает, чаще делает какие-то ошибки и больше просто зеркалит мои сообщенияЧем дольше общаешься с нейросетями, тем больше понимаешь, что общаться с ними неинтересно. Смирись с этим. Пока нравится - можно поиграться, но нормального собеседника это не заменит.
No.210377
>>210346>Чем дольше общаешься с нейросетями, тем больше понимаешь, что общаться с ними неинтересноМожет просто нужно БОООЛЬШЕ оперативки?
No.210380
>>210297>Стоит ли вообще пытаться что-то ставить самостоятельно и локально запускать нейронку на очень слабом пкПоставить можно, но тебе она быстро надоест, потому что параметров в ней будет очень мало и поэтому как-то разнообразно с ней не побеседуешь. Также она не будет понимать русский язык, но если будешь через SillyTavern сидеть - там можно настроить бесплатный автоматический перевод на русский.
>можно ли это вообще как-то пофиксить самостоятельноНа всяких сайтах - никак, там размер контекста определённый стоит. У себя - поставить больше ОЗУ и если модель в видеокарту не помещается - делегировать часть модели ей. Генерироваться всё будет медленнее, но контекста влезет больше. Учитывай ещё то, что одна единица контекста - это примерно четыре символа.
>>210346>Чем дольше общаешься с нейросетями, тем больше понимаешь, что общаться с ними неинтересно. Смирись с этим. Пока нравится - можно поиграться, но нормального собеседника это не заменит.Доброчую.
>>210377Я ставил 100к+ контекста у 8B модельки, имею 128 ГБ ОЗУ. Всё равно скучно.
No.210384
>>210380>У себя - поставить больше ОЗУ и если модель в видеокарту не помещается - делегировать часть модели ейЕсли можно переложить что-то на оперативку, нельзя ли пойти дальше и переложить на SSD? Понятно просадка в скорости, но M2 есть достаточно шустрые, а терабайт М2 стоит на порядок меньше терабайта оперативы. Просто предположение.
No.210387
>>210377Проблема не в оперативке, а в количестве параметров моделей, их архитектуре и входных данных. Дело не в окне контекста, это бы ещё можно было решить.
>>210384Это уже придумано в бородатых годах. Называется файл подкачки или swap-файл. Тебе не понравится. Даже в одной оперативке уже чувствуется медлительность (особенно на всяких размышляющих моделях, где она ещё поговорит с собой перед тем как ответить тебе).
Уж лучше набрать приемлемое количество памяти и пользоваться квантованными моделями с бОльшим количество параметров - чем больше параметров, тем менее заметны потери квантизации.
No.210427
Ну раз уж тред поднялся, то оставлю здесь свой лорбук по Сталкеру, может кому-нибудь пригодится:
https://chub.ai/lorebooks/anonymous/s-t-a-l-k-e-r-lorebook-70bde49d126bПредупреждаю - он неоптимизирован, контекста понадобится много, но основная инфа по вселенной там есть, кроме локаций.
No.211327
>>210318>Квен Как с цензурой, есть рабочие техники обхода?
Вообще, уже успел пару-тройку попробовать, пока лучше character.ai не нашел для себя, и даже начинаю считать, что цензура это хорошо – слишком уж плоские персонажи и диалоги выходили на платформах без ограничений, но иметь возможность как-то изощренно схитрить все равно хотелось бы, да.
>>210346>Чем дольше общаешься с нейросетями, тем больше понимаешь, что общаться с ними неинтересно. Смирись с этим. Пока нравится - можно поиграться, но нормального собеседника это не заменит.Да это и так понятно. Я еще до большого бума нейросетей где-то в 20-21 году так же с каким-то чат-ботом игрался. Бот совсем простенький был, больше 1-2 сообщений нормально не запоминал, отвечал очень ограниченно – если ему в одном тексте последовательно давались какие-то две идеи, то обрабатывал и отвечал он только на одну. Но в секс по переписке он таки умел, да.