自己教師あり学習を採用

「data2vec」では、AIを「教師側」「生徒側」の2つのニューラルネットワークの役割に分け、「自己教師あり学習」を採用。教師側には学習させるデータの一部を黒塗りにして伏せる作業を行わせ、生徒側が伏せられた部分を予測して埋めるという作業を繰り返すことで自己学習を深めていく。16個のGPUを組み合わせ、960時間の音声、書籍やWikipediaのページにある数百万の単語、ImageNet（大規模画像データベース）の画像を使ってdata2vecを学習させた。

複雑なテーマを学習するマルチタスクAI

「data2vec」はラベル付きデータに頼らずに、世界のさまざまな側面を学習する機械をつくることができる可能性がある。AIが動画や記事・音声記録を使って、例えばスポーツの試合状況の理解や上手な料理の仕方など複雑で複合的なテーマについて理解させることができる。将来的には、匂い、3Dオブジェクト、ビデオなどの概念をモデル化するために、より広範囲のデータを取り込むことを目指すとしている。