Translated Landscape
HD video (7:00) , 2021
石橋 友也 新倉 健人
Tomoya Ishibashi Kento Niikura
自動運転などに使われている物体検出（object detection）技術を用いて、渋谷の街並みを文字の風景へと変換した。
特定したオブジェクトの名称は漢字を中心とする日本語文字へと変換。文字の大きさは検出した物体のサイズを反映している。
特定できる物体の種類や精度は学習データに依存する。自動運転用に用意されたデータセットを学習に用いたため、人間や乗り物を高精度で検知する一方で、壁を「冷蔵庫」と認識したり、ハチ公像を「ティディベア」や「馬」と認識したりと、誤った解釈も多分に含まれる。
こうして作り出された光景は、現状のAIに見えている世界でもあり、我々の頭の中で起きているミリセカンド単位の認知のプロセスの表象でもあり、漢字のような象形文字が生まれる「形→図像→文字」の長い歴史の再演でもある（「人」という漢字がテクテクと歩く様子を映像中に確認できるだろう）。
本作は文字の持つ物質性や具体性に着目した「視覚詩」や「コンクリート・ポエトリー」と呼ばれる実験詩、またVR・XR領域での言語表現のリサーチから着想を得て制作したものである。機械の高速かつ不確かな世界認識を通して、世界と言葉の循環する関係性を提示する。
Through object detection technology used in autonomous driving and more, the streets of Shibuya were converted into a landscape of letters.
The names of the identified objects were converted into Japanese characters with kanji as the focus. The size of the characters reflects that of the detected object.
The types of identifiable objects and their accuracy depend on the training data. Since the data set used for training was prepared for autonomous driving, many misinterpretations may also be included, such as recognizing a wall as a refrigerator or a statue of Hachiko as a teddy bear or a horse, while humans and vehicles are detected with high accuracy.
The scenes created in this way are the world as it appears to current AIs, a representation of the millisecond-based cognitive processes occurring in our minds, and a reenactment of a long history from shape to image to letter which gave birth to hieroglyphs such as Chinese characters (you can see the kanji for "human" walking in the video).
This work was inspired by experimental poetry such as visual poetry and concrete poetry which focus on the materiality and concreteness of letters, as well as research on language expression in the VR and XR fields. Through the machine's fast and uncertain perception of the world, the cyclical relationship between the world and language is presented.
コトバノキカイ/Machine of Words, Tokyo Arts and Space hongo (6/1/2021-6/20/2021)
Photo: Ken Kato Photo courtesy: Tokyo Arts and Space