米グーグルが開発した言語処理モデル「BERT」に代表されるような大規模事前学習モデルの活用が進んでいるが、一方でいくつかの課題も指摘されている。21年に公開された複数の論文では、オープンソースソフトウエア（OSS）の開発の考え方を基にした解消方法を提案している。これらがAI（人工知能）の開発を民主化するためのヒントになるかもしれない。
（写真／Shutterstock）
ここ数年でBERTといったような、大規模事前学習モデルの活用が進んでいる。これらのモデルは大規模データで事前学習したものを、幅広い種類の下流タスクに微調整（ファインチューニング）し、利用することで、高精度な結果を得ることができ、その有用性から広く使われている。
一方、大規模モデルの普及に伴う課題も指摘されている。1つ目が大規模学習モデルの開発にかかる莫大な予算によって研究開発できる組織が限定されてしまう点。そして2つ目が一度公開されたモデルが更新されない点である。
例えば、米OpenAIが開発した言語モデル「GPT-3」の構築には約460万ドルがかかったとされている。これは世界の中でも予算が潤沢な大きな組織の一部にしか開発が難しいことを意味し、多くの組織が大規模モデルに関する研究開発に参加できないことになる。一部の組織に集中してしまうと、開発のモチベーションが限定されやすく、小規模の組織にとって改善や修正が後回しになるなど不利益な状況になる恐れがある。
また、現状、一度公開されたモデルはほとんど更新されることがなく、より新しいモデルが公開されるまで利用され続けている。単純にモデルを改良したい場合やモデルの予測結果に問題が見つかった場合、あるいは訓練データに含まれていた個人情報を記憶してしまっている場合など、一度公開されたモデルを更新したい理由は多く挙げられるが、現状ではこれらに対処するためにモデルを更新する標準的な手法はなく、一度公開されたモデルは凍結されたままである。
こうした問題はどのように解決すべきなのか。2021年12月に公開されたあるブログや論文（i）（ii）（iv）ではオープンソースソフトウエア（OSS）の開発の考え方を事前学習モデルの開発に適用し、これらの問題を解消することを主張している。
この記事は会員限定（無料）です。
- ①2000以上の先進事例を探せるデータベース
- ②未来の出来事を把握し消費を予測「未来消費カレンダー」
- ③日経トレンディ、日経デザイン最新号もデジタルで読める
- ④スキルアップに役立つ最新動画セミナー
からの記事と詳細 ( 大規模事前学習モデルの課題とは？ AI開発の民主化に必要なこと - 日経クロストレンド )
https://ift.tt/cTyIibP
No comments:
Post a Comment