新しいデータが収集されるたびに単一のモデルを更新し続けます。新しい学習データが既存の知識を大きく損なわないようにすることで、「破滅的忘却（catastrophic forgetting）」の問題に対応します。
データを中央集約することなく、複数のデータソースから効率的にモデルを更新します。これにより、中央集約型のデータ収集に伴う非効率性や規制上の課題を克服します。フェデレーテッドラーニング（Federated Learning）アプローチを採用し、データを転送することなく、データソースごとのモデルを集約します。
従来のAIモデルの学習は、一度データを十分に収集し、そのデータを用いて一回だけ学習を行う「一度きり」のプロセスになりがちです。
しかし、実世界のアプリケーションでは、学習データは時間とともに継続的に生成され、新しいデータの傾向が古いデータから変化していくことが一般的です。
どのようにモデルの学習プロセスを変更すれば、既存の学習済みモデルを新しいデータで時間と計算コストを効率的に更新できるでしょうか？
この場合のモデル学習を扱う既存のアプローチには、いくつかの重要な欠点があります。
一般的なアプローチは、新しいデータを既存のデータと統合し、毎回ゼロから再学習する方法です。
→ しかし、学習時間はデータ量に比例して増加し、最終的には合理的な時間内での学習が不可能になります。
別のアプローチとして、最新のモデルを基に新しいデータのみで学習を継続し、学習時間を一定に保つ方法があります。
→ しかし、新しいデータのみで学習すると、以前に学習した重要な情報を忘れてしまう「破滅的忘却（catastrophic forgetting）」の問題が発生しやすくなります。
新しいモデルの学習は、これまでの学習結果をできるだけ損なわないようにするべきです！
STADLEは、過去の各学習プロセスがモデルの異なる部分にどのような影響を与えたかを追跡します。新たな学習プロセスが開始される際、STADLEは過去の学習情報を要約し、モデルの重要な部分の変更を抑制するように学習プロセスを調整します。
従来のAIモデル学習は、データを多くのソースから単一の場所に集約し、そのすべてのデータを用いて単一のモデルを学習する、中央集約型のアプローチが一般的です。
しかし、大規模なシステムではこのデータ集約プロセスが極めて非効率になる場合があり、また、高度に規制された業界ではデータの中央集約自体が不可能な場合もあります。
データを元の場所から移動させることなく、複数のデータソースにまたがってモデルをどのように学習させることができるでしょうか？
標準的なモデル学習アプローチでは、このケースに対応するのが困難です。
最も一般的なアプローチは、データソースごとに個別のモデルを学習し、各ロケーションに単独またはすべてのモデルをデプロイする方法です。
→ しかし、この方法では各モデルがデータの一部分しか学習できず、汎化性能が低下します。また、複数のモデルを管理することで、デプロイやルーティングの複雑性が各ロケーションで増大します。
別の方法として、継続学習ベースのアプローチを採用し、単一のモデルを各データソースで学習させながら、順番に異なるロケーションへ移動させる方法もあります。
→ しかし、この方法では「破滅的忘却（catastrophic forgetting）」の問題が発生し、さらに複数のデータソースが存在する場合、時間効率が大幅に低下します。
フェデレーテッドラーニング（Federated Learning, FL）は、この問題を直接解決するために設計されており、データソースごとのモデルの学習を集約することで、データを中央集約することなく、すべての利用可能なデータ上で並列学習を可能にします。
現在のフェデレーテッドラーニング（FL）アプローチは一定の効果を発揮していますが、いくつかの課題が残っています。
→ データソースごとに基盤となる分布が異なる場合（実世界のユースケースでは一般的）、学習速度とモデルのパフォーマンスが低下する
→ 従来のFLアーキテクチャでは、水平方向のスケーラビリティに課題がある
STADLEは、従来のFLを拡張し、学習効率の問題を同時に解決するアプローチを採用
→ 継続学習のケースでは、新しい学習が過去の学習を上書きしないように設計。FLのケースでは、各データソースでの学習が他のデータソースの学習を上書きしないように調整。これにより、学習速度が大幅に向上し、実世界のデータに対する頑健性が高まる
→ STADLEは階層型アーキテクチャを採用し、水平方向の自動スケーリング機能を備えることで、小規模（例：5つの病院）から大規模（例：数千台のIoTデバイス）まで動的に適応可能
多くの場合、単一の汎化モデルを作成することが最適とは限りません。代わりに、デプロイされたモデルを異なるデータのサブセットに特化させることで、異なる傾向をより適切に捉えることが可能になります。
STADLEは、すべてのデプロイモデルに有益な汎用モデルの学習と、各モデルの特化学習を分離し、それらを統合することを可能にします。これにより、デプロイ環境ごとの最適な性能を最大化しつつ、全体の精度を維持することができます。
