UNLABELED—Camouflage against the machines

Makoto Amano / 天野真
Hanako Hirata / 平田英子
Ryosuke Nakajima / 中嶋亮介
Yuka Sai / 斉友華

A collaboration with Dentsu Lab Tokyo

監視資本主義社会が到来しようとしている。 タクシーに乗れば、 見た目の性別で、 髭剃りのCMを押し付けられ、 空港では、人種を特定され、 危険人物のラベルを貼られる。 日常のあらゆる振る舞いがデータ化され、 効率化や利益の追求のために用いられる。 一方、 我々は情報の搾取から身を守る術を持たない。 カモフラージュ(擬態)が要る。 アイデンティティを搾取する社会を生きていくための服が要る。

The age of Surveillance Capitalism is here. In the taxi, AI forces “men” to watch shaving cream commercials regardless of their real gender identity. At the airport, you are identified and can be labeled as “dangerous.” The system transforms our everyday behavior into data and abuses it for efficiency and pursuit of profit. On the contrary, we have no way to protect ourselves from information exploitation. We need camouflage. We need clothes to live in a society that exploits our identity.

監視資本主義社会が到来しようとしている。監視カメラは公共の場だけでなく、家の外にも設置され、我々の行動は常に監視されている。パーソナルデバイスの普及は、気づかないところで、インターネット上の個人の行動を、全てデータとして記録、社会の効率や利益のために搾取する為にも使われている。物理的な身体もまた、例外ではない。個人を特定する生体データ技術や画像認識技術の発達に伴い、実空間の情報も瞬時にデータ化され、私たちのプライバシーは常に脅かされている。この時、物理的な身体、あるいは衣服を身に纏うという物質的な行為はどのような意味を持つのであろうか。そうした問いを投げかける為に、私たちはAIに誤認識されやすい衣服”UNLABELED”を制作した。この服を纏うと、監視カメラを通して人間として認識されなくなり、データ化される事を防ぐ事ができる。不特定の街を行き交う人々だけでなく、監視カメラやその背後にあるAIの目が、私たちに向けられている現代において、衣服を身に纏うという行為によって自らの人権を守ることができるのではないだろうか。

Surveillance capitalism is here. Surveillance cameras are now installed outside the homes as well as in public places to monitor our activities constantly. The personal devices are recording all personal activities on the Internet as data without our knowledge. Unfortunately, the widespread use of the devices is contributing to exploit information for social efficiency and profits. The physical body is not an exception. With the development of biometric data and image recognition technology for identifying individuals, the information in real space is instantly converted into data; thus, our privacy is threatened all the time.In the situation, what does the physical body or choice of clothes mean? In order to raise such a question, we created a garment “UNLABELED. “ The specific pattern printed on the garment was generated by an AI model to fool the image recognition model. With wearing this garment,  the wearer will not be recognized as a human by the surveillance camera. Therefore, this garment can protect our fundamental human rights from excessive monitoring. In today’s world, where other people and AI keep an eyes on us, how can we assure our well-being?  “UNLABELED” aims to bring a discussion from two different perspectives; respecting fashion history, how can we update its cultural aspect when AI is involved? /  How should/can we establish a healthy relationship between the latest technology and our lives?  Throughout our project, we seek an alternative camouflage for the 21st century. 

Software

本作品は、Adversarial Exampleと呼ばれる技術に着想を得ている。Adversarial Exampleとは、正しく機能している分類モデルに対して、人にはほとんど認識でない微小なノイズを加えることにより誤認識を誘発するような技術である。主にAIのセキュリティの領域で研究が盛んであるが、生成された画像データを実世界に適応させるような例はまだ少ない。一般的にはいかにAdversarial Examplesを抑制するかという研究が主であるが、本プロジェクトではこの技術を逆手にとって、私たちのプライバシーを守ることを考えた。具体的には、生成したAdversarial Examplesを服として実世界にインストールし、身に纏うことでAI画像認識モデルの認識から逃れることを目指した。本作品の制作にあたり、PythonとUnityを用いた学習システムを構築した。実際に服として制作することを考慮し、人間の全身をスキャンした3Dモデルに対して、生成されたAdversarial Examplesを貼り付けた画像を学習データとした。これによって、学習データと実世界での着用時における見え方との乖離を小さくすることができると考えた。画像認識モデルにはYOLOv2を使用し、「人」として認識される確率が少しでも下がるように、徐々に画像をアップデートする。こうして3Dシミュレーションによる学習データの生成とテクスチャのアップデートのプロセスを繰り返すことで、服として着用したときにも有効なAdversarial Examplesを生成することに成功した。

This project is inspired by a technology called ”Adversarial Examples”. It is a technique that fools AI-based image classification by adding small noises, almost invisible to the human eyes. Many researchers currently work on this issue from the security point of view; however, in this project, we try to turn this shortcoming against surveillance and protect our privacy. We aimed to evade being recognized by AI surveillance cameras by installing generated Adversarial Examples as clothes and wearing them in the real world. Considering the actual production as clothes, we made 3D models of human bodies, embedded generated patterns on the models, and used the 3D-simulated images as training data. YOLOv2, a popular AI image recognition model, as a target, another AI continuously updates the patterns to minimize the probability of being recognized as a “person.” By repeating the process of producing training data within 3D-simulation and updating the pattern, we succeeded in generating effective Adversarial Examples even when worn as clothes in the real world.

Hardware

衣服を制作するにあたり、機械学習前後の2つのフェーズがある。
機械学習前のフェーズでは、まず何人かの人を3Dスキャンを行った。そして、3Dモデリングソフトを用いて3Dデータにボーンを追加し、様々なリアルな姿勢や動きを加えた。 その後、衣服シミュレーションソフトのCLO3Dを用いて、アバターに迷彩服を着させ、3Dシミュレーションで使用する学習データセットを作成した。
機械学習で柄の生成を行なった後は、服を2Dパターンに展開した。そして、そのパターンをポリエステル混紡の無地生地に熱転写で印刷を行なった。印刷後は、パターンカット、縫製、仕上げという一般的な衣服製作の手順を踏み、服として仕立て上げた。

In order to create the garments, there were two different phases, before and after machine learning. First, we 3D-scanned several people. Then those 3D data were imported onto Blender, the 3D modeling software to add bones to the bodies. In order to add various realistic posture and motions, we used Adobe Mixamo.  After adding the motions to the avatars, the avatars were imported to CLO3D, the garment simulation software. With fixed 2D-pattern of the camouflage coat, we successfully created 3D simulated the garment with the avatars as the training dataset. Once the adversarial pattern is made,  we lay them out onto the 2D-pattern. Then, the pattern was printed onto plain polyester blend fabric with transcription. After printing, we followed the general garment production procedure: pattern-cutting, sewing, and finishing. 

Credits:

  • Creative Director:Nao Tokui
  • Creative Director:Naoki Tanaka
  • Technical Direction :Makoto Amano
  • Design Direction:Hanako Hirata
  • Machine Learning :Ryosuke Nakajima
  • Design Assistant:Yuka Sai
  • Technical Support:Yusuke Yamada
  • Garment Design:Shun Matsunaga
  • Planner:Risako Kawashima
  • Exhibition Producer:Ryo Miura
  • Producer :Masafumi Fujioka
  • Producer:Ryotaro Omori
  • Production Manager:Kohei Suzuki