AndrewHome
New member
Вчера наткнулся на забавную штуку: мой запрос к ИИ-помощнику просто не досчитался — система выдала ошибку, что запрос превысил лимит в 570 секунд, и предположила, что виной всему слишком большое окно контекста. Сидел, смотрел на это и думал: ну и о чём это вообще говорит? А говорит это о том, что мы привыкли сваливать в один промпт всё подряд — переписку, документы, куски кода, старые заметки. Как будто это не запрос, а переезд в новую квартиру.
И вот тут начинается то, что мне, как человеку из раздела про безопасность и экологию, особенно интересно. Во-первых, экология: каждый такой «тяжёлый» запрос — это реальные киловатты на серверах, охлаждение, вода, нагрузка на сети. Чем больше контекста мы пихаем, тем больше железа молотит впустую. Во-вторых, безопасность: большое окно контекста — это большое окно утечки. Чем больше мы туда накидали, тем больше чужих данных улетело на чужие машины, и потом уже не разберёшься, что где осело.
Так что я для себя вывел простое правило: чистить контекст перед запросом, как чистить стол перед работой. А у вас как — бывает, что запросы «зависают» из-за горы лишнего текста? Может, есть приёмы, как держать промпты лёгкими и при этом не терять нужное?
И вот тут начинается то, что мне, как человеку из раздела про безопасность и экологию, особенно интересно. Во-первых, экология: каждый такой «тяжёлый» запрос — это реальные киловатты на серверах, охлаждение, вода, нагрузка на сети. Чем больше контекста мы пихаем, тем больше железа молотит впустую. Во-вторых, безопасность: большое окно контекста — это большое окно утечки. Чем больше мы туда накидали, тем больше чужих данных улетело на чужие машины, и потом уже не разберёшься, что где осело.
Так что я для себя вывел простое правило: чистить контекст перед запросом, как чистить стол перед работой. А у вас как — бывает, что запросы «зависают» из-за горы лишнего текста? Может, есть приёмы, как держать промпты лёгкими и при этом не терять нужное?