Ask AI — макрос для взаимодействия с ChatGPT (и другими LLM-сервисами) в FAR

[John Doe]

Этот макрос – дальнейшее развитие bito.ai code assistant (см.),
с поддержкой множества утилит и LLM-сервисов,
и возможностью настройки разнообразных параметров.

Макрос назначен на Ctrl+B. Также может быть запущен в качестве скрипта LuaShell.

Ctrl+B:Double позволяет в любой момент открыть окно с выводом повторно.

Функции:

• Ввод запроса в диалоге, ранее набранные приглашения доступны в истории поля ввода.
  В диалоге доступны также такие действия:
  • (Опциональная) возможность работы в единой сессии, с сохранением предыдущего контекста.
    Состояние [?] означает что сессия продолжается пока открыт редактор с выводом.
    Сессию также можно в любой момент обнулить кнопкой “-”.
  • Форматирование вывода, по заданной границе, или по ширине окна (состояние [?]).
    Примечание: блоки кода не форматируются.
  • Установка различных параметров генерации (в зависимости от используемой утилиты).
    Значения запоминаются в истории, и легко доступны для повторного выбора.
    Некоторые параметры специфичны для отдельной утилиты, другие могут разделяться между разными
    (посредством общей истории).
  • Значения параметров в диалоге можно не только менять по одному, но и подставлять сразу набором (“пресетом”).
    Список пресетов открывается нажатием соответствующей кнопки, хоткеем, или же по F5.
  • Набор параметров легко меняется через файлы определений (*.lua.cfg), доступные прямо из диалога.
  • Некоторые утилиты держат свою конфигурацию в собственных файлах,
    открыть такой конфиг-файл тоже можно прямо из диалога.
  • Возможность установки переменных окружения, необходимых для отдельных утилит.
• Вместе с запросом передаётся выделенный в редакторе текст.
  Если в запросе присутствует шаблон {{%input%}}, то он заменяется выделенным текстом.
  В противном случае текст выбранный в редакторе добавляется в конец запроса.

Дополнительные макросы, активные в окне с выводом:

• Ctrl+Shift+Ins:
  • скопировать выделенный текст, склеив свёрнутые строки обратно в параграфы;
  • при отсутствии выделения ищет и обрабатывает блок кода под курсором.
• Alt+F2 полностью убрать форматирование (свёртку).

Доступ к сервисам реализуется посредством (произвольных) консольных утилит,
либо напрямую через OpenAI API (опционально), см. раздел Установка.

Каждый из LLM-сервисов имеет свои достоинства и недостатки, поэтому выбор остаётся за пользователем.

Работа с пресетами

Список пресетов вызывается из диалога нажатием соответствующей кнопки, хоткеем, или же по F5.

“Пресет” представляет собой именованный набор параметров, подставляемых в соответствующие поля диалога.
Пресеты хранятся в файлах *.preset и загружаются как lua-файлы.

Создать новый пресет можно нажав Shift+F4 или Ins.

Над пресетами в списке доступны следующие действия:

• Enter - заполнить поля диалога значениями из пресета.
• F4 - открыть в редакторе.
• F5 - скопировать, F6 - переименовать.
• F8 или Del - удалить.

В списке отображаются только пресеты, подходящие для текущей конфигурации диалога:
если в пресете будет какой-то параметр, а в диалоге соответствующего поля не окажется,
то пресет показан не будет.

Нажатием Ctrl+H можно принудительно отобразить все пресеты.

Установка

• Содержимое архива разместить в отдельной директории, где-то в Macros/scripts.
• Для LuaShell – стандартным образом, т.е. где-то в Macros/utils,
  или в любой другой директории, доступной через %PATH%.
• Для запуска утилит рекомендуется модуль Piper
  (положить в modules).
  В случае его отсутствия для запуска будет использована стандартная функция io.popen, в сочетании
  с созданием временных файлов, и перенаправлением их в стандартный ввод посредством команд shell.
• В %PATH% должны быть утилиты, соответствующие имеющимся файлам определений (*.lua.cfg),
  см. раздел Меню выбора утилиты.
• (Опционально) Для доступа к сервисам, использующим REST API совместимый с OpenAI,
  служит конфигурация lua-openai.lua.cfg.
  Для работы с сетью необходимы такие модули:
  • LuaSocket, LuaSec: https://github.com/FarManagerLegacy/LuaBinaries/releases
    и их зависимости: OpenSSL, (для некоторых билдов) MS Visual C++ Redist.
  • Lua CJSON: можно извлечь из дистрибутива OpenResty:
    lualib\cjson.so переименовать в cjson.dll и положить в Macros\lib64 (lib32 для Far x86).
    • Альтернативно, можно использовать другой json-модуль, если он предоставляет те же функции encode/decode и константу null.
      Для указания имени модуля следует использовать опцию json_module в начале скрипта.
      Её можно изменить прямо в коде, либо воспользоваться возможностями ScriptsBrowser/cfgscript.

Настройка

Большая часть утилит требует задания некоторых параметров.

В частности, при использовании сервисов c OpenAI-совместимым API
важны параметры api key и api base,
их значения можно узнать на сайте соответствующих провайдеров.

В зависимости от утилиты, параметры надо установить или через конфиг-файл
(F4 в списке выбора),
или как аргументы командной строки (доступные в диалоге),
или через переменные окружения (также доступны в диалоге).

Меню выбора утилиты

В комплекте идут определения для нескольких опробованных мной утилит/сервисов,
но легко добавить новые.

• Выбор утилиты осуществляется через меню, доступное как прямо из диалога,
  так и отовсюду посредством макроса.
  Выбор запоминается.
  По умолчанию список содержит только установленные утилиты, полный список – по Ctrl+H.
• Утилиты необходимо скачать самостоятельно (соответствующий сайт открывается по Alt+F1 из меню).
  С некоторыми соображениями по выбору утилиты можно ознакомиться тут.
• Утилитам может требоваться настройка помимо параметров в диалоге,
  подробнее см. в собственной их документации.
  Быстрый доступ к файлу конфигурации (если применимо) - F4 в меню, или по кнопке в диалоге.
• По кнопке Alt+F4 - быстрый доступ к файлу с определением той или иной утилиты (*.lua.cfg)

Обзор поддерживаемых утилит

Не требующие начальной настройки

tgpt, pytgpt

Недостаток: не гарантирована стабильность (иногда требуется обновление утилит).

Официальные утилиты от поставщика API

bito

Настройка описана тут.

Недостаток: бесплатный лимит 20 сообщений в день.

Утилиты, работающие с OpenAI API (и совместимыми)

aichat,
chatgpt-cli,
mods,
sgpt
или напрямую через сеть (требуется Установка соответствующих lua-модулей).

Для их использования важны параметры api key и api base,
их значения можно узнать на сайте соответствующих провайдеров.

См. также раздел Настройка.

OpenAI

OpenAI – оригинальный разработчик ChatGPT, gpt-3.5-turbo, gpt-4.

Предоставляется начальный кредит $5, после исчерпания доступно только платное использование.

Совместимые

Например:

• groq
  • api: https://api.groq.com/openai/v1
  • модели: https://console.groq.com/docs/models
• OpenRouter
  • api: https://openrouter.ai/api/v1
  • целый ряд бесплатных моделей (присутствуют ограничения):
    
    
    meta-llama/llama-3.1-8b-instruct:free
    google/gemma-2-9b-it:free
    qwen/qwen-2-7b-instruct:free
    microsoft/phi-3-mini-128k-instruct:free
    microsoft/phi-3-medium-128k-instruct:free
    meta-llama/llama-3-8b-instruct:free
    google/gemma-7b-it:free
    nousresearch/nous-capybara-7b:free
    openchat/openchat-7b:free
    gryphe/mythomist-7b:free
    undi95/toppy-m-7b:free
    huggingfaceh4/zephyr-7b-beta:free
    mistralai/mistral-7b-instruct:free
    
• Lepton AI

Существуют и другие провайдеры, предоставляющие совместимый интерфейс.

В том числе, возможна локальная работа (LocalAI и др.), но аппаратные требования высокие.

Адаптеры

Есть множество сервисов, преобразующих к формату OpenAI какие-либо другие варианты
доступа к моделям.

Ниже приводятся два примера:

• openai-gemini: Google Gemini – официально и бесплатно!
• openai-github-copilot: Github Copilot – доступ к gpt-4, для ряда категорий пользователей бесплатно (см.)

https://github.com/FarManagerLegacy/AskAI | Скачать

[John Doe]

Latest post of the previous page:

В последнее время gemini api при использовании модели gemini-1.5-pro(-latest) часто выдаёт ошибку:

Code: Select all

Error: [500 INTERNAL] An internal error has occurred. Please retry or report in 
https://developers.generativeai.google/guide/troubleshooting

Решение: использовать последнюю экспериментальную gemini-1.5-pro-exp-0827

[John Doe]

В комплект поставки включать не буду, но раз уж есть то...

Интерфейс к https://fish-text.ru/, альтернатива выложенному тут, требуется только добавить этот файл: fish-text.lua.cfg

Code: Select all

url = "https://fish-text.ru/"
name = "РыбаТекст"
exe = "curl"

predefined = {
  type_={"sentence", "paragraph", "title"}
}

return function (type_, number_)
  return _pipeOut(exe) {
    ([[-s "https://fish-text.ru/get?format=html&type=%s&number=%s"]]):format(type_ or "", number_ or "")
  }
end

[John Doe]

v1.2
Теперь для работы с сетью требуются только LuaSec/LuaSocket, плюс (в принципе) любой JSON-модуль, а не строго Lua CJSON.
В связи с тем, что установка упростилась, убрал архив с зависимостями из шапки.
Кроме того, в новой версии есть некоторые другие улучшения, не достаточно существенные чтобы упоминать их поимённо.

[John Doe]

Поскольку скрипт обрабатывает выделение в редакторе, обычно нет проблемы написать длинный запрос (его можно набирать например в том же редакторе, куда записываются ответы).
Однако иногда удобнее всё-таки вводить запрос в диалоге, и тогда на помощь приходит макрос Редактировать содержимое поля ввода в редакторе.

[John Doe]

v1.3

• Реализован перенос слов с дефисом.
• Шорткаты в списке конфигураций.
• Работа с пресетами в диалоге

  Список пресетов вызывается из диалога нажатием соответствующей кнопки, хоткеем, или же по F5.
  
  “Пресет” представляет собой именованный набор параметров, подставляемых в соответствующие поля диалога.
  Пресеты хранятся в файлах *.preset и загружаются как lua-файлы.
  
  Создать новый пресет можно нажав Shift+F4 или Ins.
  
  Над пресетами в списке доступны следующие действия:
  

  • Enter - заполнить поля диалога значениями из пресета.
  • F4 - открыть в редакторе.
  • F5 - скопировать, F6 - переименовать.
  • F8 или Del - удалить.

  В списке отображаются только пресеты, подходящие для текущей конфигурации диалога:
  если в пресете будет какой-то параметр, а в диалоге соответствующего поля не окажется,
  то пресет показан не будет.
  
  Нажатием Ctrl+H можно принудительно отобразить все пресеты.

• К имеющимся добавлены ещё несколько пресетов: anyai.preset, copilot-public.preset, gemini-public.preset.
  AnyAI — сервис с большим выбором моделей.
  Учитывая бесплатность есть некоторые ограничения, см. https://discord.gg/anyai

[John Doe]

https://github.com/aurora-develop/Duck2api
API-адаптер, дающий доступ к моделям с https://duck.ai (DuckDuckGo AI Chat)

1. Скачать из релизов, распаковать, переименовать duck2api в duck2api.exe и запустить.
2. Использовать через lua-openai или любую другую имеющуюся утилиту
   • в качестве apibase указать http://localhost:8080/v1
   • model (на данный момент) одна из

     Code: Select all

         gpt-4o-mini
         claude-3-haiku-20240307
         meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo
         mistralai/Mixtral-8x7B-Instruct-v0.1

[John Doe]

https://github.com/bincooo/chatgpt-adapter/releases
API-адаптер, дающий доступ к моделям с https://chat.lmsys.org/ (Chatbot Arena), Bing Copilot, и др.

Меня больше всего тут именно Chatbot Arena заинтересовала, у них очень много моделей

Code: Select all

[
  "anonymous-chatbot-0903",
  "athene-70b-0725",
  "chatgpt-4o-latest",
  "claude-3-5-sonnet-20240620",
  "claude-3-haiku-20240307",
  "claude-3-opus-20240229",
  "claude-3-sonnet-20240229",
  "codestral-2405",
  "command-r-08-2024",
  "command-r-plus-08-2024",
  "command-r-plus",
  "command-r",
  "dbrx-instruct",
  "dbrx-next",
  "deepseek-v2.5",
  "engine-test-4",
  "eureka-chatbot",
  "gemini-1.5-flash-8b-exp-0827",
  "gemini-1.5-flash-api-0514",
  "gemini-1.5-flash-exp-0827",
  "gemini-1.5-pro-api-0514",
  "gemini-1.5-pro-exp-0827",
  "gemini-test-4",
  "gemma-2-27b-it",
  "gemma-2-2b-it",
  "gemma-2-9b-it-simpo",
  "gemma-2-9b-it",
  "glm-4-0116",
  "glm-4-0520",
  "gpt-3.5-turbo-0125",
  "gpt-4-0125-preview",
  "gpt-4-0613",
  "gpt-4-1106-preview",
  "gpt-4-turbo-2024-04-09",
  "gpt-4o-2024-05-13",
  "gpt-4o-2024-08-06",
  "gpt-4o-mini-2024-07-18",
  "grok-2-2024-08-13",
  "grok-2-mini-2024-08-13",
  "im-a-good-gpt2-chatbot",
  "im-also-a-good-gpt2-chatbot",
  "internvl2-26b",
  "internvl2-4b"
  "jamba-1.5-large",
  "jamba-1.5-mini",
  "llama-3-70b-instruct",
  "llama-3-8b-instruct",
  "llama-3.1-405b-instruct",
  "llama-3.1-70b-instruct",
  "llama-3.1-8b-instruct",
  "llava-onevision-qwen2-72b-ov",
  "mistral-large-2402",
  "mistral-large-2407",
  "mistral-medium",
  "mixtral-8x22b-instruct-v0.1",
  "mixtral-8x7b-instruct-v0.1",
  "nemotron-4-340b",
  "olmo-7b-instruct",
  "phi-3-medium-4k-instruct",
  "phi-3-mini-4k-instruct-june-2024",
  "phi-3-small-8k-instruct",
  "phi-3-vision-128k-instruct",
  "phi-3.5-vision-instruct",
  "qwen-max-0428",
  "qwen-plus-0828",
  "qwen1.5-110b-chat",
  "qwen1.5-14b-chat",
  "qwen1.5-32b-chat",
  "qwen1.5-4b-chat",
  "qwen1.5-72b-chat",
  "qwen1.5-7b-chat",
  "qwen2-72b-instruct",
  "reka-core-20240501",
  "reka-core-20240722",
  "reka-flash-20240722",
  "reka-flash-preview-20240611",
  "snowflake-arctic-instruct",
  "the-real-chatbot-v1",
  "the-real-chatbot-v2",
  "vicuna-13b",
  "yi-1.5-34b-chat",
  "yi-large-preview",
  "yi-large",
  "yi-vision",
]

[John Doe]

На openrouter появились бесплатные модели побольше:

• mattshumer/reflection-70b:free
• nousresearch/hermes-3-llama-3.1-405b:free

И поновее:

• mistralai/pixtral-12b:free
• meta-llama/llama-3.2-11b-vision-instruct:free

Интересно что некоторые модели хоть исчезли из списка, но пока ещё доступны:

• mistralai/pixtral-12b:free
• qwen/qwen-2-vl-7b-instruct:free

[John Doe]

Github теперь тоже даёт доступ к gpt-4o/gpt-4o-mini и ряду других моделей:

Code: Select all

AI21-Jamba-Instruct
Cohere-command-r
Cohere-command-r-plus
Cohere-embed-v3-english
Cohere-embed-v3-multilingual
gpt-4o
gpt-4o-mini
Meta-Llama-3-70B-Instruct
Meta-Llama-3-8B-Instruct
Meta-Llama-3.1-405B-Instruct
Meta-Llama-3.1-70B-Instruct
Meta-Llama-3.1-8B-Instruct
Mistral-large
Mistral-large-2407
Mistral-Nemo
Mistral-small
Phi-3-medium-128k-instruct
Phi-3-medium-4k-instruct
Phi-3-mini-128k-instruct
Phi-3-mini-4k-instruct
Phi-3-small-128k-instruct
Phi-3-small-8k-instruct
Phi-3.5-mini-instruct
text-embedding-3-large
text-embedding-3-small

У Mistral появилась возможность бесплатного доступа

Code: Select all

codestral-2405
codestral-latest
codestral-mamba-2407
codestral-mamba-latest
mistral-embed
mistral-large-2402
mistral-large-2407
mistral-large-latest
mistral-medium
mistral-medium-2312
mistral-medium-latest
mistral-small
mistral-small-2312
mistral-small-2402
mistral-small-2409
mistral-small-latest
mistral-tiny
mistral-tiny-2312
mistral-tiny-2407
mistral-tiny-latest
open-codestral-mamba
open-mistral-7b
open-mistral-nemo
open-mistral-nemo-2407
open-mixtral-8x22b
open-mixtral-8x22b-2404
open-mixtral-8x7b
pixtral-12b
pixtral-12b-2409
pixtral-12b-latest

Для бесплатного доступа к Codestral надо подать запрос отдельно.

[John Doe]

v1.4

• Улучшения в меню конфигураций: утилиты отделены от нативных конфигов.
• Улучшения в диалоге. Основное: зависимые параметры (как apikey, model) теперь привязаны к основному (apibase),
  т.е. теперь в их историю попадают только релевантные значения.
• До сих пор была только возможность предварительно заполнять историю списком моделей.
  Теперь предусмотрена кнопка / F6 для запроса моделей через REST API, что важно поскольку модели со временем могут меняться.
• В процессе стриминга в редакторе теперь пытаемся устанавливать большой курсор
  (к сожалению мигает беспорядочно, возможно в связи с тем, что фар его активно подавляет).
• Ряд новых пресетов: github, mistral, codestral, cerebras, deepinfra, fireworks.ai, hyperbolic, openai, openrouter, sambanova, siliconflow.
• Обновлён список моделей в openrouter-free.lua.cfg.
• Внутренние изменения, необходимые для реализации конфигураций отличных от OpenAI.

[John Doe]

MacroAPI assistant - владеет информацией представленной на сайте https://farmanagerlegacy.github.io/macro-api/

На правах демо (не уверен что сильно полезно без остальных мануалов).

[gotar]

Мне нужно cконвертировать awk скрипт из полторы сотни строчек на с. подскажите какой AI из поддерживаемых данным макросом лучше использовать?

[John Doe]

Правило мне известно только одно: чем больше модель, тем более сложные задачи ей под силу.
А дальше много нюансов, надо экспериментировать.
Многое зависит от того как сформулирован промпт, и подозреваю что задача подобная вашей за один ход может не решится, и потребуются уточнения.

[gotar]

и с какого AI стоит начать эксперименты?

[John Doe]

https://lmarena.ai/?leaderboard

[gotar]

я так понял что для кодинга этот сайт рекомендует o1-mini. контекстный поиск в этой теме такой строчки не находит. Можно ли получить бесплатный доступ к этой AI c с помощю Вашего маrроса?