Laya 0.3.20 API
利用可能Laya 0.3.20は、1回の高速なパスでテキストまたはJSON上の型付き分類、スコアリング、ルーティングを行う多言語System 1決定エンジンです。
Laya 0.3.20 API 背景
概要
Laya 0.3.20は、テキスト生成ではなく型付き決定向けに設計された、Convai Innovationsによる多言語の非自己回帰型System 1決定エンジンです。Laya 0.3.20 APIは、単一のフォワードパスでテキストまたはJSON風の状態に対するchoice、score、およびnoulの質問を評価し、高速な分類、トリアージ、モデレーション、ルーティング、およびスキーマ駆動の決定を可能にします。英語、多言語、およびtyped-decisionsのチェックポイントの中から選択するルーターを介して100以上の言語をサポートし、T4 GPU上で測定された単一質問のレイテンシは約33 msであり、バッチ処理のススループットは質問数の増加に伴い大幅に向上します。
開発履歴
Layaは、構造化出力、キャリブレーションされた確率、および多言語ルーティングに焦点を当てたセルフホスト可能な決定モデルファミリーとして進化しました。バージョン0.3.20は、3つのプロダクションチェックポイント、Routerベースの自動チェックポイント選択、バッチ推論、多言語エンコーダーにおける最大8,192トークンの長文ドキュメント処理、およびサーバー、MCP、LangChain、LlamaIndex、CrewAI向けの統合を備えた成熟したリリースです。研究コンテキストでは、プラットフォームがゼロショットの型付き決定からファインチューニングされたドメイン特化へと拡張しており、typed-decisionsチェックポイントは2,000件の決定ベンチマークで0.766の精度に達し、ベースチェックポイントから実質的に向上したことが示されています。
主要な革新
- テキスト生成やパースを行わずに、1回のフォワードパスで複数の構造化質問に回答する非自己回帰型の型付き決定推論
- 推論前にスクリプトと言語を検出し、より高い精度と信頼性のためにリクエストを英語または多言語モデルに送信するRouterベースのチェックポイント選択
- 厳密に適正なスコアリングルール（strictly proper scoring rules）に対する強化学習を中心としたトレーニングおよび確信度設計により、確信度ゲーティングや棄権ポリシーにより有用な確率出力を実現
Laya 0.3.20 API 技術仕様
アーキテクチャ
Laya 0.3.20は、構造化決定タスクに最適化されたエンコーダーベースのアーキテクチャを使用します。英語およびtyped-decisionsチェックポイントは421MパラメータのModernBERT-largeに基づいており、多言語チェックポイントは322MパラメータのmmBERT-baseを使用し、100以上の言語をサポートします。Laya 0.3.20 APIは、リクエストごとに適切なチェックポイントを自動的に選択するRouterを介してこれらを公開します。単一呼び出し予測、バッチ推論、スキーマ駆動決定、長文ドキュメントスキャンをサポートし、多言語コンテキストはデフォルトで最大1,024トークン、長い入力用に設定した場合は最大8,192トークンまで対応します。
パラメータ
モデルファミリーには3つのチェックポイントが含まれます。それぞれ4億2100万（421 million）パラメータのlayaおよびlaya-typed-decisions、そして3億2200万（322 million）パラメータのlaya-multilingualです。コンテキストウィンドウはチェックポイントによって異なります。英語モデルは512トークン、typed-decisionsチェックポイントは1,024トークンを使用し、多言語エンコーダーはデフォルトで1,024トークン、最大8,192トークンまでの拡張パスをサポートします。Laya 0.3.20 APIでは、高基数（high-cardinality）の決定タスクにおいてドキュメントの長さと選択肢のキャパシティのバランスをとるため、max_lenおよびhead_max_lenを使用してリクエストごとのトークンバジェットを調整できます。
機能
- キャリブレーションされた確信度メタデータを備えた、choice、ordinal score、およびnoul確率出力にわたる型付き決定
- 単一のフォワードパス推論による、非ラテン文字を含む100以上の言語にわたる自動多言語ルーティング
- Laya 0.3.20 APIを通じたバッチ予測、スキーマ駆動の構造化出力、長文ドキュメントスキャン、およびセルフホスト型HTTPまたはMCPデプロイメント
- 本番ワークフローにおけるリダクション、キャッシュ、ログ記録、ルーティングオーバーライド、および確信度ベースのエスカレーションのための予測フック（prediction hooks）
制限事項
- 特化した型付き決定ワークフローに対するゼロショット性能は不均一であり、最も強力な結果はベースチェックポイントのみに頼るのではなくドメイン固有データでのファインチューニングから得られます
- 選択肢テキストが固定のトークンバジェットを共有するため、高基数の選択肢タスクは大幅に低下する可能性があり、head_max_lenを増やすかショートリスト戦略を使用しない限り50以上のラベル問題は困難です
- 多言語チェックポイントは英語チェックポイントよりも英語で劣り、英語チェックポイントは英語以外で極めて悪化する可能性があるため、ルーティングはオプションではなく必須です
- 多言語スコアリングにおけるスコアバイアス、noulラベルの感度、特定の否定を多く含む選択肢定式化の弱い取り扱いなど、文書化されているいくつかのエッジケースが残っています
Laya 0.3.20 API 性能
強み
- T4 GPU上で1つの多言語質問に対して測定されたレイテンシが約32.8 ms、バッチ処理された10個の質問に対して約72.3 msという、非常に高速な構造化推論
- 単一チェックポイントの使用と比較して強力な多言語ルーティングの利点が得られ、ルーティングされた設定は英語および非英語のベンチマークスライスで最良のモデルと同等になります
- ファインチューニングされたtyped-decisionsのパフォーマンスは競争力が非常に高く、2,000件の決定ベンチマークで0.766の精度に達し、そのベンチマークで報告されたJevの0.727の結果を上回りました
- 長文ドキュメントのサポートは運用の用途に実用的であり、多言語モデルは最大8,192トークンを読み取り、報告されたテストでは最大約4,000個の先行トークンまで20件中16件から18件のリクエストに正しく回答しました
実世界での有効性
実際には、Laya 0.3.20 APIは、自由形式の生成よりもレイテンシと決定論的構造が重要となるサポートトリアージ、モデレーション、ガードレール、意図（intent）ルーティング、スキーマ抽出などの高ボリュームで適用範囲が明確なビジネス決定に最も効果的です。報告された結果では、バッチ処理による有意義なスループットの向上、51言語にわたる強力なルーティング動作、およびドメインファインチューニング後の大幅な品質向上が示されています。チームが確信度スコア付きの型付き出力を必要とする場合に特に有用ですが、完全自動化されたデプロイメントの前に、大きな選択肢セットに対する慎重な設定、ローカルデータでのキャリブレーション、およびスコアやnoulのエッジケースの検証を行う必要があります。
Laya 0.3.20 API 使用場面
シナリオ
- すべてのリクエストを部門、緊急度レベル、返金ステータス、または解約（churn）リスクに分類しなければならない高ボリュームのカスタマーサポートまたはオペレーションワークフローがある場合。Laya 0.3.20 APIは、1回のフォワードパスで複数の型付き質問に回答し、多言語入力をサポートし、生成オーバーヘッドなしで確信度の高い構造化出力を返すため、適合します。これにより、オペレーションチームはチケッティング、インボックスのトリアージ、およびサービスデスクワークフローにおいて、より高速なルーティング、より予測可能な自動化、およびより低い統合複雑性を得ることができます。
- 多数の文字体系や言語にわたるユーザーメッセージ、苦情、またはモデレーションイベントを受信する多言語プロダクトがある場合。Laya 0.3.20 APIは、ルーターが推論前に各リクエストを英語または多言語のチェックポイントのどちらで処理すべきかを検出するため最適であり、英語専用モデルが非英語テキストを処理するときに発生する可能性のある深刻な確信度の失敗を回避できます。これにより、グローバルなトラフィック全体の整合性が向上し、混合言語の運用システムでの自動トリアージ、セーフティスクリーニング、および意図検出がより信頼性の高いものになります。
- メールやJSONドキュメントのスキーマフィールドへのマッピング、ポリシーフラグの評価、またはワークフローに人間によるレビューが必要かどうかの決定など、生成されたテキストではなく構造化された決定を必要とするビジネスプロセスがある場合。Laya 0.3.20 APIは、スキーマ駆動の決定、バッチ推論、およびセルフホスト型サービスとしてのデプロイメントをサポートしているため適しています。チームは非構造化入力を型付き出力に迅速に変換し、パースエラーを削減し、安定したレスポンスフォーマットの周りに決定論的な下流の自動化を構築できます。
ベストプラクティス
- デフォルトでRouterベースの推論を使用し、保留データ（held-out data）で確信度をキャリブレーションし、生の確率をそのまま信用するのではなく棄権またはエスカレーションのしきい値を適用します
- 大きなラベル空間や長文ドキュメントの場合は、max_lenおよびhead_max_lenを注意深く調整し、20以上の選択肢に対してショートリスト戦略を検討し、本番展開前に独自のワークロードで品質を検証します
- 精度が重要となる場合は常にドメイン固有の決定についてファインチューニングを行います。Laya 0.3.20 APIで報告されている最大の向上はゼロショット利用ではなく特化によってもたらされるためです