Baseten

しかし現状はAIモデルを本番環境で提供をしやすくする

AIモデルを本番稼働させるための推論作業には、多大な時間と労力がかかります。開発者は、突然のトラフィック急増に備え、モデルを実行するインフラを準備しなければなりません。また、AIがユーザーのプロンプトにタイムリーに応答することを保証し、クラウドのコスト超過を回避し、その他何十もの技術的タスクをこなさなければなりません。

サンフランシスコを拠点とするBasetenは、このプロセスを容易にすることに取り組んでいます。同社は、最初のモデル展開段階から、本番AI環境の運用に関わる多くのタスクを自動化することを約束するプラットフォームを提供しています。

開発者は新しいニューラルネットワークを訓練した後、それを組織のクラウドインフラ上で実行できる形式にパッケージ化しなければなりません。BasetenはTrussと呼ばれるオープンソースのツールを開発し、このプロセスのスピードアップを約束しています。このスタートアップは、このツールを使えば数行のコードでAIモデルをプラットフォームにインストールできると主張しています。

ニューラルネットワークが本番稼動すると、Basetenはオートスケーリング・エンジンを使って、ユーザーからのリクエストを迅速に処理します。リクエストの急増はAIモデルを圧倒し、レスポンスタイムを低下させる可能性があります。オートスケーリング・エンジンは使用量の急増を検知すると、AIモデルの複製を作成し、余分なトラフィックを分散させます。

複合AIシステム向けの新フレームワーク「Chains」のベータ版をリリースしました。Chainsは、Basetenのオープンソースフレームワーク「Truss」を基盤に構築され、複数のAIモデルを使用する製品のパフォーマンスを向上させます

BasetenのCEOであるTuhin Srivastava氏は、「Chainsは、企業が優れたAI製品を提供するのを支援するという我々のミッションにおける大きな前進です」と述べています。Chainsは現在ベータテスト中で、興味のある企業は無料アカウントに登録するか、個別デモをリクエストできます。Basetenは、高スケールAI製品向けのインフラストラクチャソフトウェアのリーダーとして、優れたパフォーマンス、信頼性、コスト効率を提供することを目指しています。

Today, one of these, Baseten — which is building tech to make it easier to incorporate machine learning into a business’ operations, production and processes without a need for specialized engineering knowledge — is announcing $20 million in funding and the official launch of its tools.

本日、Baseten 社は、専門的な工学知識を必要とせずに、企業の業務、生産、プロセスにマシンラーニングを簡単に組み入れることができるテクノロジーを構築しています。Baseten 社は2000 万ドルの資金調達と、同社のツールの正式な発表を行いました。

The company has been operating in a closed, private beta for about a year and has amassed an interesting group of customers so far, including both Stanford and the University of Sydney, Cockroach Labs and Patreon, among others, who use it to, for example, help organizations with automated abuse detection (through content moderation) and fraud prevention.

同社は約 1 年間閉鎖されたプライベートベータ版で運営されており、これまでStanfordやシドニー大学、Cockroach LabsやPatreonなどの興味深い顧客グループを獲得してきました。これらの顧客は、コンテンツ モデレーションを通じた自動不正検出や詐欺防止などの支援に同社のサービスを利用しています。

The issue that Baseten has identified and is trying to solve is one that is critical in the evolution of AI: Machine learning tools are becoming ever more ubiquitous and utilized, thanks to cheaper computing power, better access to training models and a growing understanding of how and where they can be used. But one area where developers still need to make a major leap, and businesses still need to make big investments, is when it comes to actually adopting and integrating machine learning: There remains a wide body of technical knowledge that developers and data scientists need to actually integrate machine learning into their work.

Baseten が特定し解決しようとしている問題は、AI の進化において重要な課題です。機械学習ツールは、より低コストのコンピューティング・パワー、トレーニングモデルへの better なアクセス、そしてその利用方法の理解が深まったことで、ますます広く利用されるようになっています。しかし、開発者やビジネスがまだ大きな取り組みを必要としている領域は、実際の機械学習の採用と統合です。開発者やデータサイエンティストがその仕事に機械学習を統合するには、まだ広範な技術的知識が必要とされています。

Today, the main customers of Baseten — a reference to base ten blocks, often used to help younger students learn the basics of mathematics (“It humanizes the numbers system, and we wanted to make machine learning less abstract, too,” said the CEO) — are developers and data scientists who are potentially adopting other machine learning models, or even building their own but lack the skills to practically incorporate them into their own production flows. There, Baseten is part of a bigger group of companies that appear to be emerging building “MLops” solutions — full sets of tools to make machine learning more accessible and usable by those working in DevOps and product. These include Databricks, Clear, Gathr and more. The idea here is to give tools to technical people to give them more power and more time to work on other tasks.

今日、Basetenの主要な顧客は、他の機械学習モデルを採用したり、自分で構築したりしているが、それらを自分のプロダクションフローに実際に組み込む技術がないITエンジニアやデータサイエンティストです。Basetenは、DevOpsやプロダクト開発に携わる人々が機械学習をより手軽に利用できるようなツールセットを提供する「MLops」ソリューションを提供する企業グループの一員です。ここでの狙いは、テクニカルな人々にツールを与え、他のタスクにより多くの時間を費やせるようにすることです。

“Baseten gets the process of tool-building out of the way so we can focus on our key skills: modeling, measurement and problem-solving,” said Nikhil Harithas, senior machine learning engineer at Patreon, in a statement. Patreon is using Baseten to help run an image classification system, used to find content that violates its community guidelines.

Baseten は、私たちの主要なスキルであるモデリング、測定、問題解決に集中できるよう、ツール構築のプロセスを解消してくれます。これはPatreonの上級機械学習エンジニアであるNikhil Harithasによる声明です。 Patreonはコミュニティガイドラインに違反するコンテンツを見つけるために、Basetenを使って画像分類システムを運用しています。