ChatGPT用於OA聊天助手導致存取量服務宕機

2023-03-29 06:01:49

閒談

最近，火到不行的明星團隊產品 ChatGPT，熱度一度非常高，付費使用者都開始通過邀請制，專屬登陸連結來限制流量了。開了Plus以後返回內容和速度真是10倍速啊~

但對於小白或普通使用者(也可能非技術行業的大佬)，想要存取和體驗還是挺麻煩的。除了準備梯子、接碼、賬號以外還可能遇到節點或網路，多次連線失敗的問題。

所以，本著能折騰絕對不休息的原則，2天搞了一個聊天助手，憑藉其語意的理解，關聯具體業務場景，一定會很爽。

由於自己負責效率工程，可以免去很多環節直奔中心。

開搞

從想法到落地還是要有一個規劃的，先策劃一下產品邏輯和原型，聚焦解決的問題？

解決普通使用者無法存取體驗 ChatGPT
為使用者提供基於API自動匹配模型的能力，這點官網已經是最好的案例

結合業務思考關聯的幫助

有了以上的規劃，那就先搞內測，為一部分VIP提供服務為主。

面臨的問題

搞一個聊天視窗，帶卡片模板最好，支援自定義
頻次和輪次的限制？
後端能夠通過語意理解匹配到對應的模型？

聊天UI

我們找個聊天UI簡單搭建一下頁面

import React, { useEffect, useRef } from "react";
export default () => {
  const wrapper = useRef();
  useEffect(() => {
    const bot = new window.ChatSDK({
      root: wrapper.current,
      config: {
        navbar: {
          title: "OA聊天助手",
        },
        robot: {
          avatar: robtAvatar,
        },
        messages: [
          {
            type: "system",
            content: {
              text: "OA聊天助手，已進入對話",
            },
          },
        ],
      },
      requests: {
        /* ... */
      },
      handlers: {
        /* ... */
      },
    });
    bot.run();
  }, []);
  return <div style={{ height: "100%" }} ref={wrapper} />;
};

伺服器端介面

<?php
declare(strict_types=1);
namespace AppController;
use AppKernelResponseDetachStream;
use AppLibraryChatGPTBeanGPTMessageBean;
use AppLibraryChatGPTClient;
use AppLibraryOpenAiOpenAi;
use AppServiceKeyService;
use HPlusRouteAnnotationApiController;
use HPlusRouteAnnotationGetApi;
use HyperfDiAnnotationInject;
use SwowPsr7MessagePsr17Factory;
#[ApiController]
class Chat extends AbstractController
{
    #[Inject]
    protected Client $ChatGPTApi;
    #[GetApi]
    public function message()
    {
        $context = $this->request->query('text');
        $response = $this->response->withHeader('Content-Type', 'text/event-stream;charset=UTF-8');
        return (new OpenAi(KeyService::getKey()))->completion([
            'model' => 'text-davinci-003',
            'prompt' => 'test',
            'temperature' => 0.9,
            'max_tokens' => 150,
            'stream' => true,
            'frequency_penalty' => 0,
            'presence_penalty' => 0.6,
        ], function ($curl_info, $data) {
            p($data);
        });
        return $response->withBody(new DetachStream());
    }
    #[GetApi]
    public function send()
    {
        $context = $this->request->query('content');
        $message = new GPTMessageBean('幫我寫程式碼：' . $context . '<|endoftext|>');
        return json_encode($this->ChatGPTApi->sendMessage($message), 256);
    }
}

讓我們來體驗一下看看反應如何？

對比一下官網的回答

相比官網的回答差些意思，但這是免FQ，免註冊，為讓小白使用者直接對話的節省了很大的問題。

上線宕機

內部上線當天，直接把免費18$的額度幹廢了，服務一度崩潰。並且按照官方檔案60次/分鐘的頻次，根本無法滿足多數人發起的輪次需求。

我們採用小號隨機機制分發token，解決了一部分問題。但即使付費版的120$額度，也不能承受大體量使用者的存取，需要傳送郵件單獨申請額度。

通過內部的存取頻次可知，大家對這項新技術的追捧熱度，尤其是小白使用者。

優化問題處理

反應速度，其實介面返回並不慢，只是一次獲取完返回，並沒有流式傳輸的速度快
返回體，從介面返回的文字形式，可以優化為md模式，官網也是md的格式，自帶程式碼塊的高亮hl
返回內容，由於走免費api，介面是通過代幣計費，按照返回位元組計算，所以api形式儘可能簡潔為主

流式傳輸

let source = new EventSource('/stream'); 
source.onmessage = function(event) { 
    var streamDiv = document.getElementById('stream'); 
    streamDiv.innerHTML += event.data + '<br>'; 
};

MD格式

import ReactMarkdown from "react-markdown";
import { Prism as SyntaxHighlighter } from "react-syntax-highlighter";
import { darcula } from "react-syntax-highlighter/dist/esm/styles/prism";
export default function MyCard({ data, ctx, meta }) {
  return (
    <Card size="xl">
      <CardTitle>{data.title}</CardTitle>
      <CardText>
        <ReactMarkdown
          children={data.content}
          components={{
            code({ node, inline, className, children, ...props }) {
              const match = /language-(w+)/.exec(className || "");
              return !inline && match ? (
                <SyntaxHighlighter
                  children={String(children).replace(/n$/, "")}
                  style={darcula}
                  language={match[1]}
                  PreTag="div"
                  {...props}
                />
              ) : (
                <code className={className} {...props}>
                  {children}
                </code>
              );
            },
          }}
        />
      </CardText>
    </Card>
  );
}