#iOS | #Android ファショ通

通常のAPIリクエストではレスポンスボディに利用トークンのカウント数は含まれる。

"usage": {
   "prompt_tokens": 9,
   "completion_tokens": 12,
   "total_tokens": 21
 }

👉 API Reference - OpenAI API 

しかし「Server-Sent Events（SSE)」では、それをレスポンスで返さない。

👉 【OpenAI】Kotlin OkHttp で Server-Sent Events (SSE) 

従量制のAPIを利用している限り料金は気になりますよね。

プロンプトのトークンの数をアプリ側で独自にカウントすれば料金（利用トークン数から）は算定できるのでは？

🤖 JTokkit

Java のライブラリありますね。OpenAI公式でも紹介されているやつ。

👉 openai-cookbook/How_to_count_tokens_with_tiktoken.ipynb at main · openai/openai-cookbook · GitHub 

豊富な Java ライブラリを使えるのは Kotlin の便利なところです。

👉 Counting Tokens for ChatML | JTokkit 

とりあえずテストで動かしてみます。

dependencies {
  testImplementation 'com.knuddels:jtokkit:0.4.0'
}

@Test
fun test_jtokkit() {

  val messages = listOf(
    Message("user", "こんにちはと言ってください。"),
    Message("assistant", "こんにちは！")
  )

  val encoding = Encodings.newDefaultEncodingRegistry()
    .getEncodingForModel(ModelType.GPT_3_5_TURBO)

  val count = messages.sumOf { message ->

    // GPT_3_5_TURBO without name
    listOf(
      4, // per message
      encoding.countTokens(message.role),
      encoding.countTokens(message.content)
    ).sum()

  } + 3 // every reply is primed with <|start|>assistant<|message|>

  println(count)

}

@Serializable
data class Message(
  val role: String,
  val content: String
)

メッセージごと、リプライごとのカウント追加が間違ってるのか、なんなのか。

少しカウント数ずれるんだけども。

🤖 まとめ

てか、返せよ Usage。

従量制の有料サービスなんだから。

👉 How to get total_tokens from a stream of CompletionCreateRequests - API - OpenAI Developer Forum 
👉 How do you get token count when streaming - API - OpenAI Developer Forum 
👉 How to determine the token usage for a session when using stream:true? - API - OpenAI Developer Forum 

まあ、Webページで確認すればいいけども。

👉 Usage - OpenAI API 

大して使ってないからどうでもいいか。