Axell AI Contest 2024 表彰式レポート

AIモデルの性能を競う学生向けのコンテストを開催

Axell AI Contestは、株式会社アクセルと筑波大学、一般財団法人キャンパスOJT型産学連携教育推進財団が共同開催するAIコンテストです。AI技術の発展と次世代人材の育成を共通の関心とし、日本の学生にAIを活用する実践的な競争の舞台を提供し社会に貢献することを目指しています。

初開催だった昨年は「推論」をテーマに筑波大学の学生限定のコンテストとして開催し、76名の学生が参加。AIの推論処理を高速化する課題に取り組みました。

第２回目となる今回は、対象を日本全国の学生（高校〜大学院）に広げて幅広く参加を募りました。それに対し、昨年を大きく上回る266名が参加。よりハイレベルなコンテストとなりました。そんな本コンテストのテーマは「Super-Resolution（超解像）」。画像を高解像化するAI超解像学習済モデルの開発を競いました。

評価はデータサイエンスコンペティションサイトSIGNATEを介して行われ、実行時間と精度評価のスコア（PSNR）により順位付け。上位5位までが今回の表彰式で表彰されました。

斉藤昭宏社長の冒頭のあいさつでは、日本の人口減少の解決策としてAIに大きな期待が寄せられていることに言及。世界と比較して人口減少のスピードが早い日本では、いち早くAIの開発を進めていかなければならないと語りました。

「ポジティブな見方をすると、人口減少に起因する社会課題を“実践の場で“初めてAIで解決できるチャンスであるとも言い換えられます。将来的には、その技術を日本以外の高齢化を迎えたり、人口が減少していく国々に輸出していくような、そういった広がりのある分野がAIなのではないかと思っています。このコンテストから世界で活躍できるスターAIエンジニアが生まれてきてくれると大変嬉しいなと期待しています」

入賞者が採用した手法を解説
接戦

コンテストの講評には、今回のコンテストの課題の監修を担当した株式会社アクセル技術グループアルゴリズムチームリーダーの茂木和洋が登壇。入賞者の手法について解説しました。

「今回の課題は、4倍拡大の超解像AIモデルを作成して学習するという内容でした。皆さんが苦しまれたと思うのは、モデルの演算量に制約があることで、世の中で公開されている大きなモデルをそのまま持ってきてもまず要件をクリアできないというところだったと思います。

4位以外の方は全員採用されていた半精度化。これはモデルの規模を大きくして演算の制約を満たすために、やれば確実に精度が上がるということで、この採用の有無が上位入賞の鍵だったのかなと思います。

そして、1位の方が採用されたSPANモデル、これは最新の手法をうまく取り込んで性能を出したという点でかなり評価が高いです。さらにアテンション機構も組み込んでいたのが性能アップに寄与しているのかなと思います。

また、再パラメータ化（Re-parameterization）は1位、2位、4位の方が採用していました。推論時の演算量に制約があるなかで、当たりのパラメータを引きやすくする学習手法として意味がありましたね。

それぞれ共通する手法がありながらも、独自のチューニングで上位に食い込んでいる方もいて、この人がこの手法を取り入れていたら順位が変わっていたかもしれないなというのも垣間見えて、とても接戦だったと思います。とても興味深くモデルを眺めさせてもらいました」

3位：廣田晃大さん（スコア：29.5252289）
活性化関数の変更と追加により、パフォーマンスを最適化

第3位となったのは、廣田さん。機械学習モデルEDSRをベースに改良を加えることで高性能化を目指しました。

「より良い精度を求めて活性化関数ReLUをPReLUに置き換え、さらに計8箇所に活性化関数を追加したことでパフォーマンスが最適化されました。また、半精度化といわれる演算を取り入れたことも計算速度の向上に大幅に貢献しています。通常、半精度化は性能を少し落とす代わりに大幅に高速化できると言われているものなのですが、結果的に少し性能も上がったのは予想外でした。さらなる改良策として量子化も試しましたが、途中で断念してしまったので、ここをもっと追求していけば、さらに性能を改善できるかもしれません」

2位：金井俊樹さん（スコア：29.5804281）
再パラメータ化の適用で精度向上を狙う

第2位の金井さんは既存のモデルは使わず、オリジナルで作成した17層の畳み込み層のネットワークで課題に挑みました。

「高速化のために半精度化して多層化したネットワークを使い、カラーのまま超解像することで精度が向上しました。また、通常ニューラルネットワークの学習の安定化にはバッチノーマライゼーションが使われますが、最近の論文ではウェイトノーマライゼーションの方が性能が上がるということが言われているので、今回は後者を採用しています。そして大きなところが、再パラメータ化を入力層以外の畳み込み層に適用したところです。学習時には高い表現能力を持ったネットワーク構造で学習をしておきつつ、推論時には1層の畳み込み層と同等の計算コストで推論することができるので、これも精度を向上することができた要因です」

1位：佐々木 司温さん（スコア：29.6628349）
モデルのパラメータ調整に注力

第1位に輝いたのは、佐々木司温さんです。8つほどの候補モデルからSpan（-T）を採用し、コストを抑えながら高速化することで性能の向上を実現しました。

「今回のモデルで特徴的なのが、パラメーターフリーアテンションです。アテンションは実際に使おうとするとかなり重たくなるのですが、それをなるべくコストを抑えながら高速化するためにパラメーターフリーアテンションを使っています。入力に応じて動的にフィルターが作られるというアテンションの特性をうまく導入することによって、モデルのキャパシティを大きくすることを試みました。特に工夫したのが、パラメーター調整です。チャネル数や深さ方向のブロックの大小、半精度化ももちろんやりました。逆に反省点としては、モデル選定の際に論文の値を鵜呑みにして精度の高いモデルに固執してしまったことで、時間を多く使ってしまったことです。動かしやすくて精度の確認がしやすいモデルから試していけば、もっと有効活用できたかなと思います」

4位：梶凌太さん（スコア：29.4708064）

5位：深町郁翔さん（スコア：29.4169078）

斉藤社長コメント

「もともと、このコンテストは人材育成や将来的なAI技術の発展に寄与するということです。非常にレベルの高い学生の方々に応募いただけて、彼らのモチベーションに少しでもなれたのなら、やって良かったなと思っています。

また、こうしたコンテストが、将来有望な学生の方々と、協賛いただいている事業会社、また我々の社員との有機的な交流の場になることも期待しています。そこからAIの全体の発展につながったり、新たな事業が生まれるということも大いにあると思っています。まだ開催2回目ですから、今後はコンテストの知名度もさらに高めていき、交流の場としても大きく広げていけたらいいなと考えています」