Ask AI — макрос для взаимодействия с ChatGPT (и другими LLM-сервисами) в FAR

Website · Post by **John Doe** » Thu 23 May, 2024 00:10

Этот макрос – дальнейшее развитие bito.ai code assistant (см.),
с поддержкой множества LLM-сервисов.

Доступ к сервисам реализуется как посредством (произвольных) консольных утилит,
так напрямую через REST API.

Каждый из LLM-сервисов имеет свои достоинства и недостатки, выбор остаётся за пользователем.

Макрос назначен на Ctrl+B. Также может быть запущен в качестве скрипта LuaShell.

Ctrl+B:Double позволяет в любой момент открыть окно с выводом повторно.

Функции:

Ввод запроса в диалоге, ранее набранные приглашения доступны в истории поля ввода.
Вместе с запросом передаётся выделенный в редакторе текст.
Если в запросе присутствует шаблон {{%input%}}, то он заменяется выделенным текстом.
В противном случае выделенный в редакторе текст добавляется в конец запроса.

В диалоге доступны такие настройки:

Возможность работы в единой сессии, с учётом предыдущего контекста.
По умолчанию (состояние [?]) сессия продолжается пока открыт редактор с выводом.
Сессию также можно в любой момент принудительно очистить кнопкой “-”.
Форматирование вывода по заданной границе, или по ширине окна (состояние [?]).
Блоки кода не форматируются.
Установка различных параметров генерации (в зависимости от выбранного сервиса/утилиты).
Значения запоминаются в истории, и легко доступны для повторного выбора.
Некоторые параметры специфичны для отдельной конфигурации, другие могут разделяться между разными
(посредством общей истории).
Возможность установки переменных окружения, необходимых для отдельных утилит.

Кнопки:

[ Utility cfg ] доступна в случае, если используемая активной конфигурацией утилита
держит настройки в собственном файле; нажатие кнопки позволяет открыть его в редакторе.
[ Definition ] открывает в редакторе файл определения активной конфигурации (*.lua.cfg),
например при необходимости там легко изменить набор доступных параметров.
[ Presets - F5 ] позволяет подставить сразу несколько параметров набором (“пресетом”).
По нажатию кнопки открывается Список пресетов.
[ Models - F6 ] запрашивает список моделей через API, если это предусмотрено конфигурацией,
в противном случае кнопка недоступна.
Также фиксированный список моделей может быть уже предварительно занесён в историю поля ввода
(актуально для некоторых пресетов и конфигураций).
[ Switch ] или же повторное нажатие Ctrl+B позволяет переключиться на другую конфигурацию,
открывая Меню выбора конфигурации.
{ Go! } запуск генерации ответа модели, вывод открывается в редакторе.

Дополнительные шорткаты:

Shift+F4 - задать заголовки запроса (для OpenAI-compatible), в виде таблицы Lua или Moonscript
(удобно использовать single line table literal).
Shift+F5 - открыть историю поля apibase.
Shift+F6 - открыть историю списка моделей.

Макросы, активные в окне с выводом:

Ctrl+Shift+Ins:
- скопировать выделенный текст, склеив свёрнутые строки обратно в параграфы;
- при отсутствии выделения ищет и обрабатывает блок кода под курсором.
Alt+F2 полностью убрать форматирование (свёртку).

Работа с пресетами

Список пресетов вызывается из диалога нажатием соответствующей кнопки, хоткеем, или же по F5.

“Пресет” представляет собой именованный набор параметров, подставляемых в соответствующие поля диалога.
Пресеты хранятся в файлах *.preset и являются Lua-файлами.

Создать новый пресет можно нажав Shift+F4 или Ins.

Над пресетами в списке доступны следующие действия:

Enter - заполнить поля диалога значениями из пресета.
F4 - открыть в редакторе.
F5 - скопировать, F6 - переименовать.
F8 или Del - удалить.

В списке отображаются только пресеты, подходящие для текущей конфигурации диалога:
если в пресете содержится параметр, не имеющий соответствия в диалоге текущей конфигурации,
то такой пресет показан не будет.

Нажатием Ctrl+H можно принудительно отобразить все пресеты.

См. также: обзор пресетов для сервисов совместимых с OpenAI API в разделе Обзор конфигураций.

Установка

Содержимое архива разместить в отдельной директории, где-то в Macros/scripts.
Для LuaShell – стандартным образом, т.е. где-то в Macros/utils,
или в любой другой директории, доступной через %PATH%.
Для работы с сетью непосредственно, через “нативные” конфигурации, такие как openai.lua.cfg,
необходимы следующие модули:
- LuaSocket, LuaSec: https://github.com/FarManagerLegacy/LuaBinaries/releases
  и их зависимости: OpenSSL, (для некоторых билдов) MS Visual C++ Redist.
- Практически любой JSON модуль, предоставляющий функции encode/decode.
  - По умолчанию ищется модуль с одним из имён: cjson, rsjson, ljson, dkjson, lunajson, или просто json
    (см. также lua-users wiki).
    Мною тестировались Lua CJSON и dkjson.
  - Для явного указания имени модуля следует использовать опцию json_module в начале скрипта.
    Её можно изменить прямо в коде, либо воспользоваться возможностями ScriptsBrowser/cfgscript.
Также можно работать через сторонние утилиты:
- Для запуска утилит рекомендуется модуль Piper
  (положить в modules).
  В случае его отсутствия для запуска будет использована стандартная функция io.popen, в сочетании
  с созданием временных файлов, и перенаправлением их в стандартный ввод посредством команд shell.
- В %PATH% должны быть утилиты, соответствующие имеющимся файлам определений (*.lua.cfg),
  см. раздел Меню выбора конфигурации.

Настройка

Большая часть конфигураций требует задания некоторых параметров в диалоге.
Наиболее важные параметры - такие как apibase, apikey и model - определяются выбранным провайдером.

Некоторые утилиты используют файл настройки, доступный как из диалога, так и в списке конфигураций
(подробнее см. в документации соответствующих утилит).

Меню выбора конфигурации

В комплекте идут определения для ряда опробованных мной утилит/сервисов
(но легко добавить и новые).

С некоторыми соображениями по выбору конфигурации можно ознакомиться в разделе Обзор конфигураций.

Выбор конфигурации осуществляется через меню, доступное как прямо из диалога,
так и отовсюду посредством макроса.
Выбор запоминается.
Верхний раздел списка содержит “нативные” конфигурации, работающие с сетью средствами Lua.
Раздел не будет отображаться, если отсутствуют необходимые модули, см. Установка.
Нижний раздел списка содержит определения, использующие внешние утилиты.
По умолчанию список содержит только установленные утилиты, полный список – по Ctrl+H.
- Утилиты необходимо скачать самостоятельно (соответствующий сайт открывается по Alt+F1 из меню).
- Утилитам может требоваться настройка (помимо параметров в диалоге),
  подробнее см. в собственной их документации.
  Быстрый доступ к файлу с настройками (если применимо) - F4 в меню, или по кнопке в диалоге.
По Alt+F4 - быстрый доступ к файлу с определением той или иной конфигурации (*.lua.cfg).

В общем случае следует отдать предпочтение “нативным” конфигурациям, поскольку они обеспечивают больше возможностей.

Однако в некоторых случаях может оказаться проще или удобнее работать и через утилиты, например:

если соответствующая утилита уже есть (и используется из командной строки);
если утилита уже содержит настройки провайдеров (как bito, tgpt, pytgpt);
если пользователю проще скачать утилиту, чем выполнить другие инструкции по установке.

Обзор утилит

gh models - GitHub Models extension.
Инструкуции по установке см. на домашней странице.
Необходим аккаунт GitHub. Действуют лимиты.
tgpt, pytgpt - не требуют предварительной настройки.
Недостаток: не гарантирована стабильность (иногда требуется обновление утилит).
bito настройка описана тут.
Недостаток: бесплатный лимит 20 сообщений в день.
Прочие утилиты - aichat, chatgpt-cli, mods, sgpt - работают с OpenAI API (и совместимыми).
Требуют задания некоторых параметров, прежде всего apibase, apikey, и model.
Их значения зависят от выбранного провайдера.
В зависимости от утилиты, параметры надо установить или через файл настроек
(F4 в списке выбора),
или как аргументы командной строки (доступные в диалоге),
или через переменные окружения (также доступны в диалоге).

Обзор конфигураций

Выбор модели

На данный момент наиболее сильные модели это o1 и gpt-4o от OpenAI, gemini-1.5-pro от Google,
claude-3.5-sonnet от Anthropic.
Из опенсорсных - все что побольше, например из серии Llama от Meta AI: llama-3.1-405b, llama-3.2-90b, …

Ориентироваться можно по рейтингу ChatBot Arena.

Обзор провайдеров

OpenAI – оригинальный разработчик ChatGPT, gpt-4o, gpt-4o-mini.
Новому пользователю предоставляется кредит $5, после исчерпания которого доступно только платное использование.
Работа с этим апи возможна как с помощью сторонних утилит, так и с помощью “нативной” конфигурации,
так и называющейся “OpenAI-compatible”.
Другие OpenAI-совместимые: Mistral AI, AI21 labs Jamba.
К этой же категории относится целый ряд провайдеров, предоставляющие доступ к OpenSource
моделям (например таким как Llama, основанным на Llama, и др.).
Провайдеры с собственным API, такие как Google Gemini, Anthropic Claude, Cohere Command R+, и т.д.
Для поддержки в AskAI требуется или соответствующая “нативная” конфигурация, или специальный
сервис-адаптер, который будет конвертировать API в совместисый с OpenAI формат.
Примеры таких сервисов: openai-gemini, openai-github-copilot, и др.

Обзор пресетов для сервисов совместимых с OpenAI API

В комплекте со скриптом идёт набор пресетов, содержащих предварительно заданные
значения apibase (и начальное значение model).
В большинстве случаев пользователю также требуется самостоятельно получить apikey,
адрес сайта для регистрации можно найти в файле пресета (открывается из списка по F4).

С перечисленными ниже пресетами помимо конфигурации openai.lua.cfg совместимы также
конфигурации некоторых утилит (кроме тех, которые хранят эти значения в собственных файлах настроек).

Не требуют ключа (apikey) только эти пресеты:
- anyai: контекст лимитирован
- tmrace: лимит 50 сообщений в сутки
- deepinfra (всевозможные OpenSource модели): some anonymous usage allowed
Для использования других надо зарегистрироваться и получить ключ.
Следующие пресеты относятся к бесплатным сервисам (с определёнными лимитами):
- cloudflare (модели до 13b)
- github (включая gpt-4o)
- groq (модели до 90b)
- mistral, codestral
- sambanova (Llama <= 405b)
На некоторых сервисах только часть моделей доступно бесплатно:
- huggingface (бесплатно в основном небольшие модели, но есть и такие как CodeLlama-34b-Instruct-hf и Qwen2.5-72B-Instruct)
- openrouter (бесплатно в основном небольшие модели, но доступны и такие как lfm-40b и llama-3.1-405b-instruct)
- siliconflow (бесплатно в основном небольшие модели, но доступна и Qwen2-72B-Instruct)
- together.ai (ограниченное время бесплатна meta-llama/Llama-Vision-Free)
Некоторые сервисы дают возможность бесплатно пользоваться только сайтом, но в некоторых случаях возможно
задействовать их приватный API (указав Cookie и/или другие требуемые данные в заголовках):
- cerebras (llama3.1-8b, llama3.1-70b)
- featherless (бесплатно - небольшие модели)
- fireworks.ai (всевозможные OpenSource-модели)
- lepton (всевозможные OpenSource-модели)
Для полноты: пресеты для некоторых сервисов, для которых доступны пробные ключи:
- ai21 (Jamba): $10 credit, 3mo trial?
- deepbricks (o1/gpt-4o/3.5/claude-3.5-sonnet/llama): allows some usage with 0 balance
- hyperbolic (OpenSource-модели: DeepSeek, Llama, Qwen): $10 credit for free trial
- novita.ai (OpenSource-модели): $0.5 credit

Кроме того:

copilot-/gemini-proxy-public позволяют попробовать соответствующие сервисы-адаптеры, упомянутые выше.
gemini с некоторых пор
доступен и через OpenAI API.
keepass позволяет держать свои собственные пресеты в базе KeePass.
Подобным образом можно организовать работу и с другими аналогичными утилитами.

Примечание: задача перечислить все существующих сервисы не ставилась, это попросту невозможно,
не говоря о том что каждый день могут появляться новые.

Помимо самостоятельных провайдеров, можно встретить также сервисы не вполне понятного происхождения,
не имеющие даже официального сайта. Такими в списке выше являются anyai и tmrace.

По причине их неопределённого статуса пользоваться ими следует с осторожностью, и не передавать чувствительные данные!

Подобных сервисов довольно много, некоторые например перечислены тут: cool ai stuff!

https://github.com/FarManagerLegacy/AskAI | Скачать

gotar · Post by **gotar** » Thu 10 Oct, 2024 14:37

Latest post of the previous page:

я так понял что для кодинга этот сайт рекомендует o1-mini. контекстный поиск в этой теме такой строчки не находит. Можно ли получить бесплатный доступ к этой AI c с помощю Вашего маrроса?

Post by **HaRT** » Thu 10 Oct, 2024 15:30

gotar wrote: ↑Thu 10 Oct, 2024 11:58 Мне нужно cконвертировать awk скрипт из полторы сотни строчек на с. подскажите какой AI из поддерживаемых данным макросом лучше использовать?

А вам точно для этого нужны БЯМ со всеми их, скажем так, нюансами? Транспайлер не устроит? (Если что, я его не пробовал, просто Гуглом нашёл.)

Website · Post by **John Doe** » Thu 10 Oct, 2024 16:40

gotar wrote: ↑Thu 10 Oct, 2024 14:37 Можно ли получить бесплатный доступ к этой AI c с помощю Вашего маrроса?

Стабильный точно нет.
А так.. Вот например перечислены условно-бесплатные сервисы https://cas.zukijourney.com
На electronhub есть модель с таким именем, но врут или нет я не знаю.

gotar · Post by **gotar** » Thu 10 Oct, 2024 17:22

Названия на странице https://cas.zukijourney.com/ никак не пересекаются с названиями на https://lmarena.ai/?leaderboard при выборе Category Coding, которые в свою очередь не пересекаются с названиями в этой теме. Помогите разобраться есть ли какая нибудь связь между o1-mini c https://lmarena.ai/?leaderboard и между zukijourne с https://cas.zukijourney.com/ и между какими нибудь моделями из этой темы? Я действительно чайник в теме искусственного интеллекта и не понимаю каких-то основ.

Website · Post by **John Doe** » Thu 10 Oct, 2024 18:41

cas.zukijourney.com -> ElectronHub -> View models -> o1-mini

Но это вовсе не то что я вам рекомендую, если хотите возиться, то как-нибудь самостоятельно.
По существу: openai.lua.cfg позволяет использовать сотни существующих сервисов.

Gemini мы с вами уже долго и нудно разбирали, почему бы вам его и не использовать.
Приложено также куча пресетов. Загружаете пресет по F5, смотрите список моделей по F6.
- Не требуют ключа только эти пресеты:
  - anyai.preset
  - tmrace.preset
  - deepinfra.preset -- some anonymous usage allowed
- Для использования других надо зарегистрироваться и получить ключ.
  Следующие пресеты относятся к бесплатным сервисам (с определёнными лимитами):
  - sambanova.preset
  - cloudflare.preset
  - github.preset
  - groq.preset
  - mistral.preset
  - codestral.preset
- На некоторых сервисах только часть моделей доступно бесплатно:
  - huggingface.preset
  - openrouter.preset
  - siliconflow.preset
  - together.ai.preset (meta-llama/Llama-Vision-Free)
- Некоторые сервисы позволяют бесплатно пользоваться только сайтом, но их при желании тоже можно использовать, указав подходящие данные в заголовках:
  - cerebras.preset
  - featherless.preset
  - fireworks.ai.preset
  - lepton.preset
- Для полноты: есть также пара пресетов с пробными ключами
  - ai21.preset -- $10 credit, 3mo trial?
  - hyperbolic.preset -- $10 credit for free trial
  - novita.ai.preset -- $0.5 credit
Помимо того что в репозитории, в теме есть также:
- macro_api.lua.cfg viewtopic.php?p=179016#p179016
  Там есть например gpt-4o, и др.
- Доступ к моделям с Chatbot Arena кстати тоже есть: viewtopic.php?p=178871#p178871
  Но o1-mini среди них нет.

В целом самые сильные модели мы знаем и так: gpt-4o, gemini-1.5-pro, claude-3.5-sonnet
Из опенсорсных все что побольше: llama-3.1-405b, llama-3.2-90b, ... (подробнее на арене)

Website · Post by **John Doe** » Wed 30 Oct, 2024 14:25

На github-copilot (через openai-github-copilot) теперь доступны модели o1-mini, o1-preview и claude-3.5-sonnet.

Website · Post by **John Doe** » Sat 16 Nov, 2024 01:50

Gemini снова первый!

https://lmarena.ai/?leaderboard

Это новая экспериментальная модель: gemini-exp-1114

Website · Post by **John Doe** » Sat 16 Nov, 2024 02:03

Если вы в одной из одобренной Гуглом стран, то для доступа к Gemini можно использовать новую конфигурацию:

Gemini.lua.cfg.7z: (2.15 KiB) Downloaded 19 times

Если нет, то через прокси, который можно настроить бесплатно.

Update: с некоторых пор Gemini доступен и через OpenAI API, см. gemini.preset.

Website · Post by **John Doe** » Sat 23 Nov, 2024 22:14

John Doe wrote: ↑Sat 16 Nov, 2024 01:50 Gemini снова первый!

И снова, с моделью gemini-exp-1121.

Также выпущена новая модель learnlm-1.5-pro-experimental: https://blog.google/outreach-initiative ... rative-ai/

Ещё один способ доступа к последним экспериментальным моделям Gemini - через https://openrouter.ai/models?q=google%20free (apibase="https://openrouter.ai/api/v1")

gotar · Post by **gotar** » Tue 26 Nov, 2024 09:27

John Doe wrote: ↑Sat 23 Nov, 2024 22:14 Ещё один способ доступа к последним экспериментальным моделям Gemini

Чтобы получить доступ к этим радостям какого провайдера из списка

Code: Select all

╔════════════ Choose provider ════════════╗
║  1. Lepton [OpenAI-compatible]          ║
║  2. lua-openai                          ║
║  3. OpenAI-compatible                   ║
║  4. Openrouter:free [OpenAI-compatible] ║
║  5. Openrouter [lua-openai]             ║
║  6. presets [OpenAI-compatible]         ║
╟─────────────────────────────────────────╢
║ 7. AIChat                              ║
║ 8. bito.ai code assistant              ║
║ 9. ChatGPT CLI                         ║
║ 0. mods                                ║
║ a. pyTerminal GPT (pytgpt)             ║
║ b. test                                ║
║ c. Terminal GPT (tgpt)                 ║
╚════ F4, Alt+F4, Ctrl+H, Alt+F1, F1 ═════╝

нужно выбрать? Нужно ли обновить AskAI? Я правильно понимаю что Меню выбора конфигурации и меню выбора провайдера - это одно и тоже?

Website · Post by **John Doe** » Tue 26 Nov, 2024 21:17

Мы же с вами настраивали Gemini. Выбирайте то же что до сих пор работало.

Кроме этого теперь есть ещё два варианта доступа, но...

gotar · Post by **gotar** » Thu 28 Nov, 2024 23:42

если выбирать «lua-openai», то ответ Error 401: Invalid credentials. если выбрать «Openrouter:free [OpenAI-compatible]», что кажется более логичным, то там нет поля apibase. я понимаю что не понимаю какой то простой вещи, но не представляю что читать чтобы понимать как этим пользоваться.

gotar · Post by **gotar** » Fri 29 Nov, 2024 12:29

я пошел на openrouter.ai и заново сгенерировал api key. после этого после выдачи первого слова у меня возникает ошибка

Code: Select all

   ╔═════════════════════════════════════════════════════════ Error ═════════════════════════════════════════════════════════╗
   ║ ...Dropbox\FarSpring\Profile\Macros\scripts\AskAI\askai.lua:235: bad argument #1 to 'format' (string expected, got nil) ║
   ╟─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────╢
   ║                                                         { OK }                                                          ║
   ╚═════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╝

. конфигурация askai

Code: Select all

   ╔══════════════════════════════════════ Ask AI ══════════════════════════════════════╗
   ║ Ask any question (editor selection will be included with request)                  ║
   ║ какой ии я использую                                                              ↓║
   ╟──────────────────────── Openrouter:free [OpenAI-compatible] ───────────────────────╢
   ║ [?] Session ‹-›   [x] stream                                          [x] Wrap 80  ║
   ╟─ Parameters ───────────────────────────────────────────────────────────────────────╢
   ║1apikey            7792......................................................7f136 ↓║
   ║2model             google/learnlm-1.5-pro-experimental:free                        ↓║
   ║3temperature                                                                       ↓║
   ║4role                                                                              ↓║
   ╟────────────────────────────────────────────────────────────────────────────────────╢
   ║         [ Definition ] [ Presets - F5 ] [ Models - F6 ] [ Switch ] { Go! }         ║
   ╚════════════════════════════════════════════════════════════════════════════════════╝

Website · Post by **John Doe** » Fri 29 Nov, 2024 13:23

gotar wrote: ↑Fri 29 Nov, 2024 12:29 если выбирать «lua-openai», то ответ Error 401: Invalid credentials.

Но раньше же работало? Пару страниц назад.

gotar wrote: ↑Fri 29 Nov, 2024 12:29 askai.lua:235: bad argument #1 to 'format' (string expected, got nil)

Тут нет смысла разбираться, пока не обновитесь. В актуальной версии OpenRouter больше не конфигурация, а пресет к OpenAI. Если будет что-то непонятно, то перечитайте справку.

P.S.
Обновитесь предварительно очистив папку от старых файлов. Например сейчас не должно быть конфигурации lua-openai.

gotar · Post by **gotar** » Fri 29 Nov, 2024 21:29

ошибка исправлена

Post by **HaRT** » Fri 29 Nov, 2024 22:36

!	Message from: HaRT
	gotar, научитесь, пжлст, пользоваться тегом пример и прячьте скриншоты под них, а то слишком много места занимают на экране.

Настройка

Обзор утилит

Выбор модели

Обзор провайдеров

Обзор пресетов для сервисов совместимых с OpenAI API

Login • Register