＜AI Update＞ 欧州AI法「禁止されるAIプラクティス」に関するガイドラインの公表

本ガイドラインの概要

　本ガイドラインは、本文135頁と大部にわたりますが、その構成は以下のとおりです。

＜本ガイドラインの項目＞

1. 背景および目的
2. 禁止されるAIプラクティスの概要
3. AI法5条1項(a)および(b) – 有害な操作、欺瞞および悪用
4. AI法5条1項(c) – ソーシャルスコアリング
5. AI法5条1項(d) – 犯罪の個別リスク評価および予測
6. AI法5条1項(e) – 顔画像の無差別なスクレイピング
7. AI法5条1項(f) – 感情認識
8. AI法5条1項(g) – 特定の「センシティブ」な特性に基づく生体分類
9. AI法5条1項(h) – 法執行目的のためのリアルタイム遠隔生体識別（RBI）システム
10. 例外のための保護措置および条件（AI法5条2項～7項）
11. 適用開始
12. ガイドラインの見直しおよび更新

　以下では、禁止されるAIプラクティスの主な内容について、本ガイドラインで示された解釈も含めつつ概説し、いかなる行為が禁止されるAIプラクティスとして規制対象であるのかを解説します。

禁止されるAIプラクティスの主な内容

　AI法はリスク・ベース・アプローチに基づいてAIシステムをいくつかのカテゴリーに分類し、それぞれに適切な要件や義務を定めています。なかでも、AI法は、人の安全、生命や基本的人権に対する明白な脅威をもたらすものと考えられる以下の8つのAIプラクティスについては、対象となるAIシステムの欧州市場への投入、サービスに供することおよび使用を禁止しています※5（5条※6、本ガイドライン(9)）。以下では、本ガイドラインで示された、各禁止されるAIプラクティスの概要と具体例※7をご紹介し、それらのAIプラクティスに関する解釈のポイントを解説します。

(1) 有害な操作および欺瞞（Harmful manipulation and deception）（5条1項(a)）

• 「人の意識を超えたサブリミナル技術や意図的に操作的または欺瞞的な技術」
  本ガイドラインでは、禁止されるAIに使用される技術として、以下の3つが挙げられています。

  類型	概要
  サブリミナル技術	本人がそのような影響や仕組み、本人の意思決定や価値観・意見形成への影響に気づかないまま、行動に影響を与えることができる技術
  意図的に操作する技術	個人の自律性と自由な選択を損なうような方法で、個人の行動に影響を与えたり、変えたり、コントロールしたりするように設計されたりする技術
  欺瞞的な技術	人の自律性、意思決定、自由な選択を、その人が意識していない、あるいは意識していても欺くことができる、あるいはそれを制御したり抵抗したりすることができないような方法で、破壊したり損なったりする技術

  上記3つの技術の他、これらの技術の組み合わせも規制対象の技術に該当する可能性があるとされています。

• 「行動を実質的に歪める目的または効果」
  サブリミナル技術、意図的に操作する技術または欺瞞的な技術を利用することで、十分な情報に基づいた意思決定を行う能力を著しく損なうような形で人々の行動に影響を与えることができ、それによって、そうでなければ取らなかったであろう行動を取らせたり、意思決定をさせたりすることをいうとされています。

• 「重大な害」
  ここでの「害」には、身体的、心理的、経済的、経済的損害が含まれるとされています。その上で、「重大」であるかどうかは具体的状況や累積的影響、損害の規模と強度、影響を受ける者の脆弱性（子どもや高齢者など）、持続期間と可逆性が主な考慮要素であるとされています。

(2) 脆弱性の有害な悪用（Harmful exploitation of vulnerabilities）（5条1項(b)）

• 「年齢、障害、特定の社会的または経済的状況による脆弱性を悪用し」
  脆弱性について、本ガイドラインでは、認知的、感情的、身体的、その他、個人または集団が十分な情報を得た上で意思決定を行ったり、その他行動に影響を与えたりする能力に影響を及ぼしうる感受性の形態を含む、広範なカテゴリーを包含するものとされています。ただし、「年齢」、「障害」および「特定の社会的または経済的状況」※8による脆弱性に限定されています。
• 「行動を実質的に歪める目的または効果」および「重大な害」
  これらの解釈については上記(1)と同様です。

(3) ソーシャルスコアリング（Social scoring）（5条1項(c)）

• 「評価または分類」
  性別、身長などの特徴に基づく人または人の集団の単純な「分類」には評価や判断を要さず、したがって「評価」よりも広い概念であるとされています。そのため、自然人または人の集団とその特性または行動に関する特定の評価または判断を必ずしも伴わない基準に基づく他の種類の分類または類型化も禁止されるAIシステムの対象となります。なお、EUデータ保護法における「プロファイリング」は、AI法で禁止されるソーシャルスコアリングに含まれる可能性があるとされています。
• 「不利または不利益な扱い」
  「不利」と「不利益」は区別されており、前者はスコアリングの結果その人や集団が他の人と比べて不利な扱いを受けなければならないことを意味し、必ずしも特定の損害や不利益を必要としない一方で、後者は特定の損害や不利益を被ることをいうとされています。
• 「そのような扱いが社会的行動に対して不当または過剰」
  社会的行動の重大性と、ソーシャルスコアリングから生じる関係者の基本的権利への影響と干渉の重大性を比較して、そのような扱いが追求される正当な目的に対して不釣り合いであるかどうかが、比例性の一般原則を考慮して決定されるべきであるとされています。

(4) 犯罪の個別リスク評価および予測（Individual risk assessment and prediction of criminal offences）（5条1項(d)）

• 「自然人が犯罪をするリスクを評価または予測するため」
  犯罪予測AIシステムとは、過去のデータ内のパターンを特定し、犯罪発生の可能性と指標を関連付け、予測出力としてリスクスコアを生成するものとされています。また、その対象は、原則として、将来的なものであり、（まだ実行されていない）将来の犯罪や、犯罪を実行するために行われた未遂や準備行為の場合を含め、現時点で実行される危険性があると評価されている犯罪に関するものであるとされています。
• 「自然人のプロファイリングまたは人格的特徴または特性の評価のみに基づき」
  プロファイリングの概念については、AI法3条(52)がGDPR4条4項の定義※10を参照しています。「人格的特徴または特性」について前文(42)は「国籍、出生地、居住地、子供の数、負債額、車のタイプ」など、人が犯罪をするリスクを予測するために評価されうる人格的特徴または特性の例を示していますが、これは例示列挙であることが明らかにされています。

(5) 顔画像の無差別なスクレイピング（Untargeted scraping of facial images）（5条1項(e)）

• 「顔認識データベース」
  コンピュータによる迅速な検索と取得のために特別に編成されたデータまたは情報の集合体を指し、デジタル画像またはビデオフレームから顔を顔のデータベースとして、人間の照合データベース内の画像と比較し、両者が一致する可能性が高いかどうかを判断することができるものであることが想定されています※11。
• 「対象を絞らずに顔画像をスクレイピングする」
  「対象を絞らずに」とは、特定の個人やグループに焦点を絞らないことを意味し※12、「スクレイピング」とはウェブクローラ、ボット、またはその他の手段を使用して、監視カメラ、ウェブサイト、ソーシャルメディアを含むさまざまなソースからデータやコンテンツを自動的に抽出することをいいます。
• 「インターネットや監視カメラの映像から」
  この点については、ある人がソーシャルメディア上で自分の顔画像を公開したからといって、その人が顔認識データベースにその画像が含まれることに同意したことにはならないことが明らかにされています。

(6) 感情認識※13（Emotion recognition）（5条1項(f)）

• 「感情」
  感情や意図の概念は広い意味で理解されるべきであり、制限的に解釈されるべきではないとされています。前文(18)には、「幸福、悲しみ、怒り、驚き、嫌悪、困惑、興奮、恥、軽蔑、満足、娯楽」などの感情が列挙され、その詳細が示されていますが、これらは例示列挙であることが明らかにされています。
• 感情の「推測（Inferring）」と「識別（Identification）」
  5条1項(f)では、感情を「推測」するAIを禁止していますが、前文(44)は「感情を識別または推測する」AIシステムを禁止の対象としてします。本ガイドラインにおいては、「推測」するためには通常「識別」を必要とするため、感情の「推測」だけでなく、「識別」についても禁止の対象となることを明らかにしています。なお、感情の「識別」は、自然人の生体データ（例えば、声や顔の表情）の処理によって、感情認識システムにあらかじめプログラムされている感情と直接比較して識別することができる場合に行われるものです。一方で、感情の「推測」は、システム自身による分析その他の処理によって生成された情報から感情を推測することによって行われるものであるとされています。
• 「職場および教育機関」
  禁止される感情推測AIは、「職場および教育機関」における利用などに限定されていますが、ここでいう「職場」は非常に広く捉えられており、仕事が行われるあらゆる環境（物理的・仮想的）が含まれ、従業員、請負業者、研修生といった地位とは無関係であり、選考および採用プロセス中の候補者にも適用されるとされています。また、「教育機関」も広く解されており、公的か私立かを問わず、また、生徒の年齢も問わず、修了書（certificate）を出すことができるか否かが重要な特徴とされています。

(7) 特定の「センシティブ」な特性に基づく生体分類（Biometric categorization for certain ‘sensitive’ characteristics）（5条1項(g)）

• 「生体分類システム」
  AI法3条(40)は、生体分類システムを「他の商用サービスに付随するもので、客観的な技術的理由により厳密に必要な場合を除き、自然人をその生体データに基づいて特定のカテゴリーに割り当てることを目的とするAIシステム」と定義しています。本ガイドラインにおいて、「他の商用サービスに付随するもので、客観的な技術的理由により厳密に必要な場合」とは、他の商業サービスと本質的に結びついている機能であり、客観的な技術的理由により、その機能が主たるサービスなしには使用できないことを意味するとされています。

(8) 法執行目的のためのリアルタイム遠隔生体識別（RBI）システム（Real-time remote biometric identification (RBI) Systems for law enforcement purposes）（5条1項(h)）

• 「遠隔生体識別」
  遠隔生体識別システム（以下、「RBIシステム」といいます。）とは、遠隔地から、人の生体認証データと参照データベースに含まれる生体認証データとを比較することにより、自然人の積極的な関与なしに自然人を識別することを目的としたAIシステムであるとされています（AI法3条(41)）。
• 「リアルタイム」
  AIシステムが生体データを「瞬時に、ほぼ瞬時に、またはいかなる場合も重大な遅延なく」捕捉し、さらに処理することを意味します（前文(17)）。
• 「公的にアクセス可能な空間」
  アクセスに一定の条件が適用されるかどうか、また収容人数の制限の有無にかかわらず、不特定多数の自然人がアクセスできる公的または私的所有の物理的な場所をいいます（AI法3条(44)）。

禁止されるAIプラクティスに関する留意点

　本ガイドラインでは、禁止されるAIプラクティスに関する規律について、前提となる以下の点についても示されています。

1. 禁止される行為（「市場への投入」、「サービスに供する」および「使用」）、プロバイダおよびディプロイヤなどの定義

　AI法は、禁止されるAIシステム（RBIシステム（5条1項(h)）を除きます※16。）の「市場への投入」、「サービスに供すること」および「使用」を禁止しています（5条1項）。これらの定義はAI法に定められているものもありますが、本ガイドラインでは、それぞれの用語の定義についてさらに詳しく解説するとともに、具体例を示しています。また、AI法は、AIシステムに関連する事業者を、プロバイダ、ディプロイヤ、輸入者、販売業者、製品製造者といった異なるカテゴリに区別しているところ、本ガイドラインは、禁止されるAIプラクティスの範囲を踏まえ、プロバイダおよびディプロイヤの範囲について解釈を示しています。

　また、AIシステムの運用者は、複数の役割を同時に担う場合があり、例えば、ある事業者が自社利用のためにAIシステムを開発し、それを実際に利用する場合には、（当該AIシステムの提供を受けて利用する他のディプロイヤが存在したとしても）当該事業者はプロバイダにもディプロイヤにも該当する可能性があるとされています。

2. 禁止されるAIと除外規定・ハイリスクAIシステムとの関係

　本ガイドラインは、禁止されるAIプラクティスに該当する場合でも、AI法2条に定める除外規定（国家安全保障、研究開発、個人使用など）によりAI法の適用外となる可能性があることを示しています。ただし、除外規定の適用には条件があり、例えば国家安全保障目的での使用が「唯一の目的」である必要があるほか、研究開発の除外は現実環境でのテストには及ばず、個人使用の除外はディプロイヤに限られます。また、無償のオープンソース（OSS）ライセンスとして提供されるAIシステムに対する除外は、禁止されるAIプラクティスには適用されないとされています。

　また、禁止されるAIプラクティスに該当しない場合でも、依然として「ハイリスクAIシステム」に該当する可能性は残されており、感情認識など特定の用途ではハイリスクAIシステムと判断される可能性があることも強調されています。

今後の見通し

　上記のとおり、本ガイドラインに法的拘束力はなく、禁止されるAIプラクティスについては、個別の事案ごとの判断が必要です。

　本ガイドラインは、もともと、AI法上、欧州委員会がガイドラインを策定することとされている項目に含まれており（96条(b)）、以下に記載する他の項目についても、今後、欧州委員会がガイドラインを策定することが見込まれます。なお、2025年2月6日には、「AIシステム」の定義に関するガイドライン※17も公表されています。当事務所でも引き続き、最新の動向を情報発信して参ります。

　（欧州委員会がガイドラインを策定することとされている項目の例）

• ハイリスクAIの要求事項（8条から15条）、バリューチェーン上の責任（25条）に関するガイドライン（96条(a)）
• 禁止されるプラクティス（5条）に関するガイドライン（96条(b)）
• 重大な変更（Substantial modification）に関するガイドライン（96条(c)）
• 透明性義務に関するガイドライン（96条(d)）
• AI法と付属書ⅠのUnion harmonization legislationの関係の詳細に関するガイドライン（96条(e)）
• AIシステムの適用に関するガイドライン（96条(f)）
• ハイリスクAIに関するガイドライン（ハイリスクAIの該非に関するユースケースの包括的なリスト）（6条5項、前文(53)）
• 零細企業によるシンプルな品質管理システムの要件に関するガイドライン（63条1項、前文(146)）