불면증을 겪는 사람 중 다수가 많이 보고하는 문제 중 하나가 ‘잠에 대한 불안’이다. 조금 피곤하고 졸린 기분도 들어서 오늘은 잘 잘 수 있을 거라는 마음으로 잠자리에 들어도 곧 막상 누우니까 졸음이 달아나는 것 같고 작은 소리에도 신경이 곤두서서 시계 소리는 점점 커지는 것만 같고 어쩌면 오늘도 다 잔 것이 아닐까, 이대로 내일도 피로에 쩔어서 해야 할 일도 쉬는 것도 아무것도 하지 못하는 어정쩡한 날이 되는 것이 아닐까 하며 불안감에 젖는다.
그러다 시계를 확인해 보면 벌써 새벽 한 시, 조금 후면 두 시, 세 시… 시간에 쫓기는 불안에 시달리다 네 시가 되어 겨우 잠을 자게 된다. 무슨 일을 하든지 시간에 쫓기면 불안과 스트레스가 쌓인다. 각성 수준이 낮아지고 몸에 힘이 빠져야 겨우 잘 수 있을까 말까한 상황에서 잠을 잘 시간이 얼마 남지 않았다는 불안이 올라오면 편히 잠들기는 어려워지기 마련이다.
비슷하게 낮에 힘든 일이 많았던 경우, 자면서도 일에 대한 걱정이 많을 때, 또 그냥 기본적으로 완벽주의 정도가 높은 사람들일수록 더 밤에도 쓸데없이 각성수준이 높아져서 잠을 잘 이루지 못하는 편이라는 연구들이 있었다.
하지만 잠을 자는 것 자체에 불안감이 있는 경우는 조금 달라서 낮에 아무 일 없었어도 ‘잠을 최소한 몇 시간은 자야 한다’는 잠에 대한 강박이 심한 탓에 침대에 눕고 시간이 조금씩 지나갈수록 불안이 쌓여 간다.
나 역시 한동안 잠에 대한 강박이 있어서 최소한 몇 시간은 자야 한다거나 푹 자고 일어나서 상쾌한 아침을 맞이해야만 멀쩡하게 기능할 수 있을 거라는 생각들을 가지고 있었다.
물론 잠을 잘 자는 것은 실제로도 중요한 일이지만 한편으로는 조금 못 잔다고 해서 며칠을 내리 한 숨도 자지 못하는 게 아닌 이상 또 다음날 중요한 일정이 있는 게 아니라면, 조금 피곤하게 보낸다는게 그렇게 두려움에 떨 일인지 생각해 보면 또 별 일 아닌거 같기도 한 것이다.
많은 만성질환자 및 우울증, 불안증 환자들이 가지고 있는 부적응적인 사고방식 중 하나가 아직 일어나지 않은 일에 대해 “더 안 좋은 일(더 아프고 우울하고 끔찍하게 나쁜 일)이 생기면 어떡하지?” 라고 하는 “재앙화” 사고이다.
아예 생기지 않을 수도 있고 또 생각하기에 따라 크게 나쁘지 않을 수 있는 일의 결과를 크게 과장해서 두려워하다보니 실제로 작은 일에도 육체적, 어쩌면 그보다 더 큰 심리적 고통을 겪게 되고 그러다 보니 더 두려움이 쌓이는 악순환이다. 우리 몸은 마음이 아픈 만큼 실제로 갖은 신체화 증상을 겪도록 설계되어 있기 때문에 불필요한 스트레스는 줄이는 것이 좋다.
따라서 지금 내가 걱정하는 것이 어떤 일의 결과를 실제보다 부풀려서 생각하고 걱정하고 있는 것인지 (그것이 잠이 되었든 다른 무엇이 되었든) 아니면 사실 ‘내가 걱정하는 것보다는’ 괜찮을 것이지만 나의 마음이 자꾸 내 안의 원초적인 생존 본능과 불안을 자극하는 오경보를 울려대는 것은 아닌지 생각해 볼 필요가 있다.
한창 불면증이 심할 때 인지행동 치료를 받은 적이 있는데 의외로 가장 도움이 되었던 조언이 “조금 못 자도 살 수 있다”는 얘기였다. 너무 단순화해서 이야기하긴 했지만 잠을 잘 자는 날도 있고 그렇지 않은 날도 있는 것이 정상이며 그렇지 못했다고 해서 뭔가 큰 일이 날 것처럼 생각하지는 말라는 것이었다.
아예 하루를 꼬박 새고 언젠가 졸음이 올 때 푹 자는 것이 더 생체리듬을 돌리는 데 효과적일 수도 있다는 얘기와 함께 하루의 상쾌함을 결정하는 데에는 다양한 요소가 있으며 ‘잠’이 물론 중요하지만 단 하나의 절대반지 같은 것은 아니라는 얘기였다.
그러고 보면 업무상 낮과 밤이 항상 바뀌는 사람들도 있고 여행이 잦아서 시차적응을 자주 겪어야 하는 사람들도 다 살아가는데 (물론 쉽다는 이야기는 아니다) 어떤 날은 낮에 쪽잠이라도 조금 자면 되는 것이지 불면증으로 (아직까지는) 삶이 크게 위협을 받지는 않는 것 같다. 잠에 대한 미련과 강박을 내려놓으니 실제로 더 잘 자게 된 것 같다.
하지만 평소 불면증을 심하게 앓고 있는 편이라면 전문가의 도움을 받아보도록 하자. 수면 클리닉이나 수면인지행동 치료를 하는 센터를 찾아보는 것도 좋은 방법이다.
※필자소개 박진영. 《나, 지금 이대로 괜찮은 사람》, 《나를 사랑하지 않는 나에게》를 썼다. 삶에 도움이 되는 심리학 연구를 알기 쉽고 공감 가도록 풀어낸 책을 통해 독자와 꾸준히 소통하고 있다. 온라인에서 ‘지뇽뇽’이라는 필명으로 활동하고 있다. 현재 미국 듀크대에서 사회심리학 박사 과정을 밟고 있다.
파스파 문자(왼쪽 줄)와 한글 중 발음이 같은 글자 몇 개를 비교해 놓은 그림. /조선일보 DB
이제 해외에 나가서 한글과 마주치는 것은 흔한 일이 됐습니다. 한국산 중고 버스의 한글로 쓰인 행선지 안내문을 일부러 떼지 않고 운행하는가 하면, 한국산이 아닌데도 한국산인 척 한글로 써 놓은 상품도 종종 봅니다. 식당 메뉴판 같은 데서 엉터리 한글을 보면 배를 잡고 웃기도 하죠. 한글이 세계화돼 가는 것을 보고 있는 우리는 한글에 대해 대단한 자부심을 지니고 있습니다. 젊은 외국인들은 ‘한글은 유독 동그라미가 많아 예쁘다’며 선호하기도 하죠. 우리가 못살던 시절엔 일어나지 않았던 일이었습니다.
하지만 정작 외국 학자들 중엔 한글에 대해 심드렁해하는 사람이 많습니다. 왜 그럴까요. 세계 문자학계에선 아직도 이런 편견을 가진 학자들이 상당수 있다고 합니다.
“한글? 그거 몽골의 파스파(八思巴) 문자를 모방한 것 아냐?”
파스파 문자란 1265년 티베트 출신의 파스파가 원나라 세조 쿠빌라이의 명을 받아 만든 문자로 지금은 쓰이지 않습니다. 위 그림에서 몇 개 파스파 문자와 한글의 자형을 비교해 보면 일견 비슷한 것도 같습니다. 그런데 자세히 보면 뭐 그렇게 비슷한가, 하는 생각도 듭니다.
이 문제에 대해 국내에서 드물게 깊게 연구한 학자가 정광 고려대 명예교수입니다. 그는 “한글이 파스파 문자의 영향을 받은 것은 맞다”고 말합니다. 그러나 “세계 어느 문자가 다른 문자의 영향을 받지 않고 하늘에서 뚝 떨어진 것이 있느냐”고 반문합니다.
그는 이렇게 설명합니다. 세종은 고도로 발달한 인도와 중국의 음성학, 몽골의 파스파 문자까지 깊게 연구했습니다. 한글은 국제적인 언어학의 토대 위에 독창적인 형태로 더욱 발전시킨 문자였습니다. 조음 음성학의 이론에 근거해 초성 글자를 발음기관의 모양을 따 상형(象形)하는 놀라운 자형(字形)으로 만들었고, 모음의 중성은 천지인(天地人) 삼재(三才)를 상형했는데, 이것은 어디에서도 볼 수 없는 한글만의 특징이라는 것입니다.
언어학자 정광 교수가 2023년 4월 19일 서울 중계동 자신의 작업실에서 본지와 인터뷰를 갖고 있다. /박상훈 기자
이 설명을 조금 자세히 들여다 보겠습니다. 정광 교수가 말한 ‘훈민정음이 파스파 문자로부터 일부 받은 영향’이란 이런 것입니다. 어금닛소리인 아음(牙音), 혓소리인 설음(舌音), 입술소리인 순음(脣音) 같은 36개의 중국어 자모(字母·한글의 초성에 해당)를 기본틀로 해서 글자를 만든 것에서 유사점이 있다는 얘기죠.
그러나 한글의 자형은 완전히 독창적인 것이라는 분석입니다. 파스파 문자가 기존 티베트 문자의 형태를 조금 변형해 만든 것인 반면, 훈민정음은 발음기관의 모습과 천지인 삼재를 표현해 체계적이고 과학적으로 만들었다는 것입니다. 천지인 삼재라는 것이 얼마나 합리적이고 편리한 것인지는 휴대전화 자판을 쓰는 21세기의 우리가 너무나 잘 알고 있을 것입니다.
문제는 세계의 소위 문자학자라는 사람들이 ‘훈민정음’의 제자해(制字解)편조차 제대로 읽어보지 않았다는 것입니다. 글자를 어떻게 만들었는지 그 원리를 기록해 놓은 무척 중요한 부분입니다. 글자를 만든 원리를 글자 창안과 동시에 기록한 문자는 이 세상에서 한글 밖에는 없습니다. 그것은 어떤 기록이었을까요. 사실 곰곰이 돌이켜 보면 예전 학교 다닐 때 국어시간에 나왔던 얘기들이기도 합니다.
“아음 ㄱ(기역)은 혀뿌리가 구멍을 막는 모습을 본떴다.”
“치음(齒音·잇소리) ㅅ(시옷)은 치아의 모습을 본떴다.”
“후음(喉音·목구멍소리) ㅇ(이응)은 목구멍의 모습을 본떴다.”
한글 기본 자음의 제자(制字) 원리를 그림으로 표현한 것. /수학동아
어떤 발음이 입 안에서 어떤 신체 기관에 의해 나는지를 파악해 그 기관의 형상에서 유래된 모양의 글자를 만들었다는 것입니다. 이걸 모르기 때문에 일부 중국인 관광객 가이드들이 경복궁 같은 데서 ‘세종이 창호지 바른 문 모양을 보고 기역 니은 디귿을 만들었고 손잡이를 보고 이응을 만들었다’고 말하는 식의 근본과 개념을 상실한 헛소리들이 나오게 되는 것입니다.
한글에는 여기서 한발 더 나아간 ‘킥’이 있습니다. 초성·중성·종성으로 이뤄진 음절 하나를 한 글자로 표현하는 데 성공한다 해도, 초성이 묵음인 경우엔 어떻게 해야 하는가요? 바로 소리가 나지 않는 ‘ㅇ’을 여기에 넣은 절묘한 해법이었습니다.
묵음을 ㄱ도 ㄴ도 ㅅ도 아닌 동그라미로 표현하다니! 이것은 아무것도 없다는 아라비아 숫자 ‘0′과도 통하는 무(無)의 개념이 아니겠습니까. 이렇게 하면 모든 중성자(모음)를 독립적으로 사용할 수 있게 됩니다. 정 교수는 또한 파스파 문자에는 전혀 없는 종성(받침)이 존재하는 것 역시 훈민정음만의 독창성이라고 했습니다.
그러니까 위 그림에서 보이는 듯한 파스파 문자와 한글의 유사점은 그저 우연이었던 것입니다. 한글의 ‘ㅇ(이응)’은 영문 대문자 ‘O(오)’, ‘ㅌ(티읕)’은 대문자 ‘E(이)’, 모음 ‘ㅣ(이)’는 소문자 ‘l(엘)’과 유사한데 그럼 훈민정음이 알파벳을 모방한 걸까요? 심지어 마지막 경우는 자판의 위치까지 같습니다.
과장된 국수주의나 애국심을 요즘 말로 ‘국뽕’이라고 합니다. 차오르는 국뽕의 거품을 걷어내고 또 걷어낸다 해도 마지막으로 남는 국뽕의 고갱이는 바로 한글이 아닐까, 이렇게 생각해 봅니다. 물론 그렇다고 한글 전용이 바람직하다는 얘기는 아닙니다. 훈민정음을 창제한 원래 목적이 한자의 발음을 제대로 표기하기 위한 것이며 우리말 단어의 7할이 한자어임을 생각하면, 한국인이 한글과 한자라는 두 칼을 양손에 든다면 세상에 두려울 게 없을 것입니다.
[DeepLearning] Learning to generate lyrics and music with Recurrent Neural Networks : 순환 신경망을 사용하여 가사와 음악을 생성하는 방법 배우기
순환 신경망을 사용하여 가사와 음악을 생성하는 방법 배우기
Pytorch와 rnns | 2018년 1월 27일
RNN 기반 생성 모델을 가사와 피아노 음악 생성에 적용한 사례를 보여주는 게시물입니다.
소개
이 게시물에서는 가장 인기 있는/최근 아티스트의 가사 데이터 세트에서 RNN 문자 수준 언어 모델을 학습합니다. 학습된 모델을 가지고 다양한 아티스트의 다양한 스타일을 재밌게 섞은 몇 곡을 샘플링합니다. 그런 다음 모델을 업데이트하여 조건부 문자 수준 RNN으로 만들어 아티스트에 따라 노래를 샘플링할 수 있습니다. 마지막으로 피아노 곡의 미디 데이터 세트에서 모델을 학습하여 마무리합니다. 이러한 모든 작업을 해결하는 동안 문자 수준 RNN, 조건부 문자 수준 RNN, RNN 샘플링, 시간에 따른 절단된 역전파 및 그래디언트 체크포인팅과 같은 RNN 학습 및 추론과 관련된 몇 가지 흥미로운 개념을 간략하게 살펴보겠습니다. 모든 코드와 학습된 모델은 github에서 사용할 수 있으며 Pytorch 로 구현되었습니다 . 블로그 게시물은 jupyter notebook 형식으로도 볼 수 있습니다 . 문자 수준 언어 모델과 순환 신경망에 익숙하다면 해당 섹션을 건너뛰거나 결과 섹션으로 바로 이동하세요.
문자 수준 언어 모델
모델을 선택하기 전에, 우리의 과제를 자세히 살펴보겠습니다. 현재 문자와 이전의 모든 문자가 주어졌을 때, 우리는 다음 문자를 예측해 볼 것입니다. 훈련하는 동안 우리는 시퀀스를 취하고, 마지막 문자를 제외한 모든 문자를 입력으로 사용하고, 두 번째 문자에서 시작하는 동일한 시퀀스를 기준 진실로 사용할 것입니다(위의 그림 참조; 출처 ). 우리는 예측을 할 때 이전의 모든 문자를 무시하는 가장 간단한 모델에서 시작하여, 이 모델을 개선하여 특정 수의 이전 문자만 고려하도록 하고, 예측을 할 때 이전의 모든 문자를 고려하는 모델로 결론지을 것입니다.
우리의 언어 모델은 문자 수준에서 정의됩니다. 우리는 모든 영어 문자와 마침표, 쉼표, 줄 끝 기호와 같은 일부 특수 기호를 포함하는 사전을 만들 것입니다. 각 문자는 one-hot-encoded 텐서로 표현됩니다. 문자 수준 모델과 예제에 대한 자세한 내용은 이 리소스를 추천합니다 .
문자를 가지고 있으므로 이제 문자 시퀀스를 형성할 수 있습니다. 지금도 고정된 확률로 문자를 무작위로 샘플링하여 문장을 생성할 수 있습니다 . 이것이 가장 간단한 문자 수준 언어 모델입니다. 이것보다 더 나은 방법은 없을까요? 그렇습니다. 훈련 코퍼스에서 각 문자의 발생 확률(문자가 발생하는 횟수를 데이터 세트 크기로 나눈 값)을 계산하고 이러한 확률을 사용하여 문자를 무작위로 샘플링할 수 있습니다. 이 모델은 더 좋지만 각 문자의 상대적인 위치적 측면을 완전히 무시합니다. 예를 들어, 단어를 읽는 방법에 주의하세요. 첫 번째 문자부터 시작하는데, 이는 일반적으로 예측하기 어렵지만 단어의 끝에 도달하면 때때로 다음 문자를 추측할 수 있습니다. 단어를 읽을 때 다른 텍스트를 읽고 배운 일부 규칙을 암묵적으로 사용하고 있습니다. 예를 들어, 단어에서 읽는 문자가 하나 더 추가될 때마다 공백 문자의 확률이 증가하거나(정말 긴 단어는 드뭅니다) 문자 “r” 뒤에 자음이 올 확률은 일반적으로 모음 뒤에 오기 때문에 낮습니다. 비슷한 규칙이 많이 있고, 우리 모델이 데이터로부터 이를 학습할 수 있기를 바랍니다. 우리 모델이 이러한 규칙을 학습할 수 있는 기회를 주기 위해 모델을 확장해야 합니다.
모델을 조금씩 점진적으로 개선하고 각 문자의 확률을 이전에 발생한 문자에만 의존하도록 합시다( 마르코프 가정 ). 따라서 기본적으로 . 이것은 마르코프 연쇄 모델 입니다( 익숙하지 않다면 이러한 대화형 시각화 도 시도해 보세요). 또한 훈련 데이터 세트에서 확률 분포를 추정할 수 있습니다. 이 모델은 대부분의 경우 현재 문자의 확률이 이전 문자에만 의존하지 않기 때문에 제한적입니다.
우리가 모델링하고자 하는 것은 실제로 . 처음에는 이전 문자의 수가 가변적이고 긴 시퀀스의 경우 정말 커질 수 있기 때문에 작업이 난해해 보입니다. Reccurent Neural Netoworks는 공유 가중치와 고정 크기 숨겨진 상태를 사용하여 어느 정도 이 문제를 해결할 수 있는 것으로 밝혀졌습니다. 이는 RNN에 전념하는 다음 섹션으로 이어집니다.
순환 신경망
순환 신경망은 순차적 데이터를 처리하기 위한 신경망 계열입니다. 피드포워드 신경망과 달리 RNN은 내부 메모리를 사용하여 임의의 입력 시퀀스를 처리할 수 있습니다. 임의의 크기의 입력 시퀀스로 인해 사이클이 있는 그래프로 간결하게 표현됩니다(그림 참조; 출처 ). 하지만 입력 시퀀스의 크기를 알면 “펼쳐질” 수 있습니다. 현재 입력 과 이전 숨겨진 상태 에서 출력 과 현재 숨겨진 상태 로의 비선형 매핑을 정의합니다 . 숨겨진 상태 크기는 미리 정의된 크기를 가지며 각 단계에서 업데이트되고 매핑 결과에 영향을 미치는 기능을 저장합니다.
이제 문자 수준 언어 모델의 이전 그림과 접힌 RNN 그림을 맞춰서 RNN 모델을 사용하여 문자 수준 언어 모델을 어떻게 학습하는지 살펴보겠습니다.
그림에서는 Vanilla RNN을 사용하고 있지만, 우리의 작업에서는 LSTM을 사용할 것입니다. 왜냐하면 훈련이 더 쉽고 보통 더 나은 결과를 얻을 수 있기 때문입니다.
실험을 위해 우리는 다양한 최신 아티스트와 더 오래된 아티스트를 포함하는 55,000개 이상의 노래 가사 Kaggle 데이터 세트를 선택했습니다 . 이는 판다스 파일로 저장되며, 훈련 목적으로 사용할 수 있도록 파이썬 래퍼를 작성했습니다. 코드를 사용하려면 직접 다운로드해야 합니다.
결과를 더 잘 해석하기 위해, 나는 내가 어느 정도 알고 있는 아티스트 하위 집합을 선택했습니다.
artists=['ABBA','Ace Of Base','Aerosmith','Avril Lavigne','Backstreet Boys','Bob Marley','Bon Jovi','Britney Spears','Bruno Mars','Coldplay','Def Leppard','Depeche Mode','Ed Sheeran','Elton John','Elvis Presley','Eminem','Enrique Iglesias','Evanescence','Fall Out Boy','Foo Fighters','Green Day','HIM','Imagine Dragons','Incubus','Jimi Hendrix','Justin Bieber','Justin Timberlake','Kanye West','Katy Perry','The Killers','Kiss','Lady Gaga','Lana Del Rey','Linkin Park','Madonna','Marilyn Manson','Maroon 5','Metallica','Michael Bolton','Michael Jackson','Miley Cyrus','Nickelback','Nightwish','Nirvana','Oasis','Offspring','One Direction','Ozzy Osbourne','P!nk','Queen','Radiohead','Red Hot Chili Peppers','Rihanna','Robbie Williams','Rolling Stones','Roxette','Scorpions','Snoop Dogg','Sting','The Script','U2','Weezer','Yellowcard','ZZ Top']
무조건 문자 수준 언어 모델 훈련
우리의 첫 번째 실험은 전체 코퍼스에서 문자 수준 언어 모델 RNN을 훈련하는 것으로 구성되었습니다. 훈련하는 동안 아티스트 정보는 고려하지 않았습니다.
RNN에서 샘플링
모델을 훈련한 후 몇 곡을 샘플링해 보겠습니다. 기본적으로 RNN은 각 단계에서 로짓을 출력하고 이를 소프트맥스하여 해당 분포에서 샘플링할 수 있습니다. 또는 Gumble-Max 트릭을 사용하여 로짓을 직접 샘플링 할 수도 있는데 이는 동일합니다.
샘플링에 대한 흥미로운 점 하나는 우리가 입력 시퀀스를 부분적으로 스스로 정의하고 그 초기 조건으로 샘플링을 시작할 수 있다는 것입니다. 예를 들어, “Why”로 시작하는 노래를 샘플링할 수 있습니다.
Why do you have to leave me?
I think I know I'm not the only one
I don't know if I'm gonna stay awake
I don't know why I go along
I don't know why I can't go on
I don't know why I don't know
I don't know why I don't know
I don't know why I keep on dreaming of you
음, 그럴 법한 노래네요 😀
“Well”로 시작하는 노래로 샘플링해 보겠습니다.
Well, I was a real good time
I was a rolling stone
I was a rock and roller
Well, I never had a rock and roll
There were times I had to do it
I had a feeling that I was found
I was the one who had to go
샘플링 중에 사용되는 “온도” 매개변수가 있는데, 이는 샘플링 프로세스의 무작위성을 제어합니다. 이 매개변수가 0에 가까워지면 샘플링은 argmax와 동일하고 무한대에 가까워지면 샘플링은 균일한 분포에서 샘플링하는 것과 동일합니다. Jang et al.의 관련 논문 에서 그림을 살펴보세요 .
, 분포는 영향을 받지 않습니다. 를 감소시키면 분포가 더 두드러지게 되며, 이는 더 큰 확률 질량을 가진 값이 증가한다는 것을 의미합니다. 를 0에 가까워지면 샘플링 은 armax와 동일해지므로 해당 값의 확률이 1에 가까워집니다. 를 증가시키기 시작하면 분포가 점점 더 균일해집니다.
이전 샘플은 온도 매개변수가 . 와 같도록 생성되었습니다. . 로 늘리면 어떻게 되는지 살펴보겠습니다 . 샘플:
Why can't we drop out of time?
We were born for words to see.
Won't you love this. You're still so amazing.
This could be that down on Sunday Time.
Oh, Caroline, a lady floor.
I thought of love, oh baby.
좀더 늘려보도록 하죠.
Why - won't we grow up naked?
We went quietly what we would've still give
That girl you walked before our bedroom room
I see your mind is so small to a freak
Stretching for a cold white-heart of crashing
Truth in the universal daughter
I lose more and more hard
I love you anytime at all
Ah come let your help remind me
Now I've wanted waste and never noticed
I swear I saw you today
You needed to get by
But you sold a hurricane
Well out whispered in store
사실, 왜 우리는 벌거벗고 자라지 않을까요? 😀 온도가 높아질수록 샘플링된 문장이 점점 더 무작위적이 되는 추세를 볼 수 있죠.
조건부 문자 수준 언어 모델 훈련
특정 아티스트의 스타일로 가사를 생성할 수 있다고 상상해보세요. 모델을 변경하여 훈련 중에 이 정보를 사용할 수 있도록 합시다.
우리는 RNN에 추가 입력을 추가하여 이를 수행할 것입니다. 지금까지 우리의 RNN 모델은 각 단계에서 원핫 인코딩된 문자가 포함된 텐서만 허용했습니다.
우리 모델의 확장은 매우 간단할 것입니다. 아티스트를 나타내는 추가 원핫 인코딩 텐서가 있을 것입니다. 따라서 각 단계에서 RNN은 캐릭터와 아티스트를 나타내는 연결된 텐서로 구성되는 텐서 하나를 허용합니다. 자세한 내용은 여기를 참조하세요 .
조건 언어 모델 RNN에서 샘플링
훈련 후, 우리는 아티스트에 따라 몇 곡을 샘플링했습니다. 아래에서 몇 가지 결과를 찾을 수 있습니다.
그를:
My fears
And the moment don't make me sing
So free from you
The pain you love me yeah
Whatever caused the warmth
You smile you're happy
You sit away
You say it's all in vain
실제로 가능해 보이는데, 특히 ‘고통’이라는 단어가 사용됐기 때문입니다. 이 단어는 아티스트의 가사에서 매우 흔하게 쓰입니다.
아바:
Oh, my love it makes me close a thing
You've been heard, I must have waited
I hear you
So I say
Thank you for the music, that makes me cry
And you moving my bad as me, ah-hang wind in the hell
I was meant to be with you, I'll never be playing up
밥 말리:
Mercy on judgment, we got so much
Alcohol, cry, cry, cry
Why don't try to find our own
I want to know, Lord, I wanna give you
Just saving it, learned
Is there any more?
All that damage done
That's all reason, don't worry
Need a hammer
I need you more and more
콜드플레이:
Look at the stars
Into life matter where you lay
Saying no doubt
I don't want to fly
In my dreams and fight today
I will fall for you
All I know
And I want you to stay
Into the night
I want to live waiting
With my love and always
Have I wouldn't wasted
Would it hurt you
카니예 웨스트:
I'm everywhere for you
The way that it couldn't stop
I mean it too late and love I made in the world
I told you so I took the studs full cold-stop
The hardest stressed growin'
The hustler raisin' on my tears
I know I'm true, one of your love
꽤 멋져 보이지만 검증 정확도를 추적하지 않았기 때문에 일부 샘플링된 라인은 rnn에서 기억했을 수도 있다는 점을 명심하세요.더 나은 방법은 훈련 중에 가장 좋은 검증 점수를 제공하는 모델을 선택하는 것입니다(이런 방식으로 훈련을 수행한 다음 섹션의 코드 참조).또한 흥미로운 사실 하나를 발견했습니다.무조건 모델은 일반적으로 지정된 시작 문자열로 샘플링할 때 더 나은 성능을 보입니다.지정된 시작 문자열로 조건부 모델에서 샘플링할 때 실제로 모델에 두 가지 조건(시작 문자열과 아티스트)을 적용한 반면, 이전에 탐색한 모델의 경우 하나의 조건만 적용했습니다.그리고 그 조건부 분포를 잘 모델링할 만큼 충분한 데이터가 없었습니다(모든 아티스트가 비교적 제한된 수의 노래를 가지고 있음).
우리는 코드와 모델을 공개하고 있으며, GPU 없이도 훈련된 모델에서 노래를 샘플링할 수 있습니다. 이는 실제로 컴퓨팅 측면에서 많은 요구가 없기 때문입니다.
미디 데이터 세트
다음으로, 우리는 대략 피아노 곡으로 구성된 작은 미디 데이터세트 로 작업할 것입니다 . 우리는 피아노 데이터세트(트레이닝 분할만)를 사용했습니다 .Nottingam
모든 미디 파일을 피아노 롤로 변환 할 수 있다는 것이 밝혀졌습니다. 피아노 롤은 각 행이 다른 미디 피치이고 각 열이 시간적으로 다른 슬라이스인 시간-주파수 행렬입니다. 따라서 데이터 세트의 각 피아노 곡은 크기의 행렬로 표현되며 , 여기서 는 피아노의 피치 수입니다. 피아노 롤 행렬의 예는 다음과 같습니다.
이 표현은 음악 이론에 익숙하지 않은 사람이라도 매우 직관적이고 해석하기 쉽습니다. 각 행은 피치를 나타냅니다. 위쪽 행은 저주파 피치를 나타내고 아래쪽 행은 고주파 피치를 나타냅니다. 게다가 시간을 나타내는 수평축이 있습니다. 따라서 특정 피치의 사운드를 특정 시간 동안 연주하면 수평선이 표시됩니다. 전반적으로 이는 유튜브의 피아노 튜토리얼 과 매우 유사합니다 .
이제 문자 수준 모델과 새로운 작업의 유사점을 살펴보겠습니다. 현재의 경우 이전에 연주된 모든 피치를 고려하여 다음 타임스텝에서 연주될 피치를 예측해야 합니다. 피아노 롤 그림을 보면 각 열은 어떤 종류의 음악적 캐릭터를 나타내며 이전의 모든 음악적 캐릭터를 고려하여 다음 음악을 예측하려고 합니다. 텍스트 문자와 음악적 캐릭터의 차이점에 주의해 보겠습니다. 기억하시겠지만 언어 모델의 각 캐릭터는 원핫 벡터로 표현되었습니다(즉, 벡터에서 하나의 값만 이고 다른 값은 입니다 ). 음악적 캐릭터의 경우 한 타임스텝에서 여러 키를 누를 수 있습니다(다성음 데이터 세트로 작업하고 있기 때문입니다). 이 경우 각 타임스텝은 두 개 이상의 를 포함할 수 있는 벡터로 표현됩니다 .
피치 레벨 피아노 음악 모델 훈련
학습을 시작하기 전에, 이전 섹션에서 논의한 다양한 입력을 설명하기 위해 언어 모델에 사용한 손실을 조정해야 합니다. 언어 모델에서, 각 타임스텝에 대한 입력으로 원-핫 인코딩된 텐서(문자)를 사용했고, 출력(예측된 다음 문자)으로 원-핫 인코딩된 텐서를 사용했습니다. 예측된 다음 문자에 대해 단일 배타적 선택을 해야 했기 때문에, 교차 엔트로피 손실을 사용했습니다 .
하지만 이제 우리 모델은 더 이상 원핫 인코딩(여러 키를 누를 수 있음)이 아닌 벡터를 출력합니다. 물론, 눌린 키의 모든 가능한 조합을 별도의 클래스로 처리할 수 있지만, 이는 어렵습니다. 대신 출력 벡터의 각 요소를 이진 변수( – 누름, – 키를 누르지 않음)로 처리합니다. 출력 벡터의 각 요소에 대한 별도의 손실을 이진 교차 엔트로피로 정의합니다. 그리고 최종 손실은 이러한 이진 교차 엔트로피의 평균 합계가 됩니다. 더 잘 이해하기 위해 코드를 읽을 수도 있습니다.
앞서 언급한 변경 사항을 적용한 후, 우리는 모델을 훈련했습니다. 다음 섹션에서는 샘플링을 수행하고 결과를 검사합니다.
피치 레벨 RNN에서 샘플링
우리는 최적화 초기 단계에서 피아노 롤을 샘플링했습니다.
우리 모델이 데이터 세트의 노래에서 공통적으로 나타나는 하나의 공통 패턴을 학습하기 시작한 것을 볼 수 있습니다. 각 노래는 두 개의 다른 부분으로 구성되어 있습니다. 첫 번째 부분에는 별도로 연주되고 매우 구별되며 종종 부를 수 있는 피치 시퀀스가 포함되어 있습니다 (멜로디라고도 함). 샘플링된 피아노 롤을 보면 이 부분이 하단에서 명확하게 보입니다. 피아노 롤의 상단도 보면 일반적으로 함께 연주되는 피치 그룹이 보입니다. 이것은 멜로디를 동반하는 화음(노래 전체에서 함께 연주되는 피치)의 진행 또는 하모니입니다.
훈련이 끝날 무렵 우리 모델에서 추출한 샘플은 다음과 같이 보이기 시작했습니다.
보시다시피 이는 이전 섹션에서 보여드린 실제 피아노 롤 사진과 더욱 유사해 보이기 시작했습니다.
훈련 후, 우리는 노래를 샘플링하고 분석했습니다. 흥미로운 소개가 있는 샘플 하나를 얻었습니다 . 다른 샘플은 멋진 스타일 전환을 특징으로 합니다 . 동시에 낮은 온도 매개변수를 가진 몇 가지 예를 생성하여 느린 템포의 노래를 만들었습니다. 첫 번째 와 두 번째는 여기 있습니다 . 전체 재생 목록은 여기 에서 찾을 수 있습니다 .
시퀀스 길이 및 관련 문제
이제 GPU 메모리 소비와 속도 관점에서 문제를 살펴보겠습니다.
우리는 배치로 시퀀스를 처리함으로써 계산 속도를 크게 높였습니다. 동시에, 시퀀스가 길어질수록(데이터 세트에 따라 다름) 최대 배치 크기가 감소하기 시작합니다. 왜 그럴까요? 역전파를 사용하여 기울기를 계산할 때, 메모리 소비에 가장 큰 영향을 미치는 모든 중간 활동을 저장해야 합니다. 시퀀스가 길어질수록 더 많은 활성화를 저장해야 하므로 배치에 더 적은 예제를 넣을 수 있습니다.
때로는 정말 긴 시퀀스로 작업해야 하거나 배치 크기를 늘리거나, 아니면 사용 가능한 메모리 양이 적은 GPU가 필요할 수도 있습니다. 이 경우 메모리 소모를 줄이는 여러 가지 가능한 솔루션이 있지만, 서로 다른 상충 관계가 있는 두 가지를 언급하겠습니다.
첫 번째는 잘린 역전파 입니다 . 아이디어는 전체 시퀀스를 하위 시퀀스로 분할하고 이를 별도의 배치로 처리하는 것입니다. 단, 이러한 배치를 분할 순서대로 처리하고 모든 다음 배치는 이전 배치의 숨겨진 상태를 초기 숨겨진 상태로 사용합니다. 또한 이 접근 방식의 구현을 제공하여 더 잘 이해할 수 있도록 합니다. 이 접근 방식은 분명히 전체 시퀀스를 처리하는 것과 정확히 동일하지는 않지만 더 자주 업데이트하고 메모리를 덜 사용합니다. 반면에 한 하위 시퀀스의 길이를 넘어서는 장기 종속성을 포착하지 못할 가능성이 있습니다.
두 번째는 그래디언트 체크포인팅 입니다 . 이 방법은 더 많은 계산을 수행하는 대가로 전체 시퀀스에서 모델을 학습하는 동안 더 적은 메모리를 사용할 수 있는 가능성을 제공합니다. 기억하시겠지만, 이전에 학습하는 동안 가장 많은 메모리가 활성화에 의해 차지된다고 언급했습니다. 그래디언트 체크포인팅의 아이디어는 모든 -번째 활성화만 저장하고 나중에 저장되지 않은 활성화를 다시 계산하는 것입니다. 이 방법은 이미 Tensorflow에 구현되어 있으며 Pytorch에 구현되고 있습니다 .
결론 및 향후 작업
저희의 작업에서는 텍스트에 대한 간단한 생성 모델을 훈련하고, 다성음악에 맞춰 모델을 확장했으며, 샘플링이 작동하는 방식과 온도 매개변수가 텍스트와 음악 샘플에 어떤 영향을 미치는지 간략히 살펴보았습니다. 낮은 온도는 더 안정적인 결과를 제공하는 반면, 높은 온도는 더 많은 무작위성을 추가하여 때로는 매우 흥미로운 샘플이 생성됩니다.
향후 작업에는 두 가지 방향이 포함될 수 있습니다. 더 많은 응용 프로그램 또는 이미 훈련된 모델에 대한 심층 분석입니다. 예를 들어 동일한 모델을 Spotify 청취 기록에 적용할 수 있습니다. 청취 기록 데이터에 대한 학습이 끝나면 이전 1시간 정도 동안 들었던 노래 시퀀스를 제공하면 하루 종일 재생 목록을 샘플링합니다. 탐색 기록에도 동일한 작업을 수행할 수 있으며, 탐색 행동 패턴을 분석하는 멋진 도구가 됩니다. 다양한 활동(헬스장에서 운동, 사무실에서 일하기, 수면)을 수행하는 동안 휴대폰에서 가속도계 및 자이로스코프 데이터를 수집 하고 이러한 활동 단계를 분류하는 방법을 학습합니다. 그런 다음 활동에 따라 음악 재생 목록을 자동으로 변경할 수 있습니다(수면 – 비 오는 차분한 음악, 헬스장에서 운동 – 고강도 음악). 의료 응용 프로그램의 경우 이 작업 과 유사하게 모델을 적용하여 맥박 및 기타 데이터를 기반으로 심장 문제를 감지할 수 있습니다 .
음악 생성을 위해 훈련된 RNN에서 뉴런 발화를 분석하는 것은 매우 흥미로울 것입니다 . 모델이 몇 가지 간단한 음악 개념(화성과 멜로디에 대한 논의와 같은)을 암묵적으로 배웠는지 확인하기 위해서입니다. RNN의 숨겨진 표현을 사용하여 음악 데이터 세트를 클러스터링하여 유사한 노래를 찾을 수 있습니다.
이 글을 마무리하기 위해 무조건 모델의 마지막 가사를 샘플링해 보겠습니다 😀 :
The story ends
The sound of the blue
The tears were shining
The story of my life
I still believe
The story of my life
Learning to generate lyrics and music with Recurrent Neural Networks
Pytorch and rnns | Jan 27, 2018
A post showing an application of RNN-based generative models for lyrics and piano music generation.
Introduction
In this post we will train RNN character-level language model on lyrics dataset of most popular/recent artists. Having a trained model, we will sample a couple of songs which will be a funny mixture of different styles of different artists. After that we will update our model to become a conditional character-level RNN, making it possible for us to sample songs conditioned on artist. And finally, we conclude by training our model on midi dataset of piano songs. While solving all these tasks, we will briefly explore some interesting concepts related to RNN training and inference like character-level RNN, conditional character-level RNN, sampling from RNN, truncated backpropagation through time and gradient checkpointing. All the code and trained models are available on github and were implemented in Pytorch. The blog post can also be viewed in a jupyter notebook format. If you are already familiar with the character-level language model and recurrent neural networks, feel free to skip respective sections or go directly to the results section.
Character-Level language model
Before choosing a model, let’s have a closer look at our task. Given current letter and all previous letters, we will try to predict the next character. During training we will just take a sequence, and use all its characters except the last one as an input and the same sequence starting from the second character as groundtruth (see the picture above; Source). We will start from the simplest model that ignores all the previous characters while making a prediction, improve this model to make it take only a certain number of previous characters into account, and conclude with a model that takes all the previous characters into consideration while making a prediction.
Our language model is defined on a character level. We will create a dictionary which will contain all English characters plus some special symbols, like period, comma, and end-of-line symbol. Each charecter will be represented as one-hot-encoded tensor. For more information about character-level models and examples, I recommend this resource.
Having characters, we can now form sequences of characters. We can generate sentences even now just by randomly sampling character after character with a fixed probability . That’s the most simple character level language model. Can we do better than this? Yes, we can compute the probabily of occurance of each letter from our training corpus (number of times a letter occures divided by the size of our dataset) and randomly sample letter using these probabilities. This model is better but it totally ignores the relative positional aspect of each letter. For example, pay attention on how you read any word: you start with the first letter, which is usually hard to predict, but as you reach the end of a word you can sometimes guess the next letter. When you read any word you are implicitly using some rules which you learned by reading other texts: for example, with each additional letter that you read from a word, the probability of a space character increases (really long words are rare) or the probability of any consonant after the letter “r” is low as it usually followed by vowel. There are lot of similar rules and we hope that our model will be able to learn them from data. To give our model a chance to learn these rules we need to extend it.
Let’s make a small gradual improvement of our model and let probability of each letter depend only on the previously occured letter (markov assumption). So, basically we will have . This is a Markov chain model (also try these interactive visualizations if you are not familiar with it). We can also estimate the probability distribution from our training dataset. This model is limited because in most cases the probability of the current letter depends not only on the previous letter.
What we would like to model is actually . At first, the task seems intractable as the number of previous letters is variable and it might become really large in case of long sequences. Turns out Reccurent Neural Netoworks can tackle this problem to a certain extent by using shared weights and fixed size hidden state. This leads us to a next section dedicated to RNNs.
Recurrent Neural Networks
Recurrent neural networks are a family of neural networks for processing sequential data. Unlike feedforward neural networks, RNNs can use their internal memory to process arbitrary sequences of inputs. Because of arbitrary size input sequences, they are concisely depicted as a graph with a cycle (see the picture; Source). But they can be “unfolded” if the size of input sequence is known. They define a non-linear mapping from a current input and previous hidden state to the output and current hidden state . Hidden state size has a predefined size and stores features which are updated on each step and affect the result of mapping.
Now align the previous picture of the character-level language model and the ufolded RNN picture to see how we are using the RNN model to learn a character level language model.
While the picture depicts the Vanilla RNN, we will use LSTM in our work as it is easier to train usually achieves better results.
For a more elaborate introduction to RNNs, we refer reader to the following resource.
Lyrics dataset
For our experiments we have chosen 55000+ Song Lyrics Kaggle dataset which contains good variety of recent artists and more older ones. It is stored as a pandas file and we wrote a python wrapper around it to be able to use it for training purposes. You will have to download it yourself in order to be able to use our code.
In order to be able to interpret the results better, I have chosen a subset of artists which I am more or less familiar with:
artists=['ABBA','Ace Of Base','Aerosmith','Avril Lavigne','Backstreet Boys','Bob Marley','Bon Jovi','Britney Spears','Bruno Mars','Coldplay','Def Leppard','Depeche Mode','Ed Sheeran','Elton John','Elvis Presley','Eminem','Enrique Iglesias','Evanescence','Fall Out Boy','Foo Fighters','Green Day','HIM','Imagine Dragons','Incubus','Jimi Hendrix','Justin Bieber','Justin Timberlake','Kanye West','Katy Perry','The Killers','Kiss','Lady Gaga','Lana Del Rey','Linkin Park','Madonna','Marilyn Manson','Maroon 5','Metallica','Michael Bolton','Michael Jackson','Miley Cyrus','Nickelback','Nightwish','Nirvana','Oasis','Offspring','One Direction','Ozzy Osbourne','P!nk','Queen','Radiohead','Red Hot Chili Peppers','Rihanna','Robbie Williams','Rolling Stones','Roxette','Scorpions','Snoop Dogg','Sting','The Script','U2','Weezer','Yellowcard','ZZ Top']
Training unconditional character-level language model
Our first experiment consisted of training of our character-level language model RNN on the whole corpus. We didn’t take into consideration the artist information while training.
Sampling from RNN
Let’s try to sample a couple of songs after training our model. Basically, on each step our RNN will output logits and we can softmax them and sample from that distribution. Or we can use Gumble-Max trick and sample using logits directly which is equivalent.
One intersting thing about sampling is that we can partially define the input sequence ourselves and start sampling with that initial condition. For example, we can sample a song that starts with “Why”:
Why do you have to leave me?
I think I know I'm not the only one
I don't know if I'm gonna stay awake
I don't know why I go along
I don't know why I can't go on
I don't know why I don't know
I don't know why I don't know
I don't know why I keep on dreaming of you
Well, that sounds like a possible song 😀
Let’s sample with a song that starts with “Well”:
Well, I was a real good time
I was a rolling stone
I was a rock and roller
Well, I never had a rock and roll
There were times I had to do it
I had a feeling that I was found
I was the one who had to go
There is “temperature” parameter that is used during sampling which controls the randomness of sampling process. When this parameter approaches zero, the sampling is equivalent to argmax and when it is close to infinity the sampling is equivalent to sampling from a uniform distribution. Have a look at the figure from a relevant paper by Jang et al.:
When , the distribution is not affected. If we decrease , the distribution becomes more pronounced, meaning that value with bigger probability mass will have it increased. When will approach zero, sampling will be equivalent to armax, because the probability of that value will be close to one. When we start to icrease the distribution becomes more and more uniform.
The previous sample was generated with a temperature paramter equal to . Let’s see what happens when we increase it to and sample:
Why can't we drop out of time?
We were born for words to see.
Won't you love this. You're still so amazing.
This could be that down on Sunday Time.
Oh, Caroline, a lady floor.
I thought of love, oh baby.
Let’s try increasing it even more:
Why - won't we grow up naked?
We went quietly what we would've still give
That girl you walked before our bedroom room
I see your mind is so small to a freak
Stretching for a cold white-heart of crashing
Truth in the universal daughter
I lose more and more hard
I love you anytime at all
Ah come let your help remind me
Now I've wanted waste and never noticed
I swear I saw you today
You needed to get by
But you sold a hurricane
Well out whispered in store
Why don’t we grow up naked, indeed? 😀 Well, you can see that trend that when we increase the temperature, sampled sentences become more and more random.
Training conditional character-level language model
Imagine if we could generate lyrics in a style of some particular artist. Let’s change our model, so that it can use this information during training.
We will do this by adding an additional input to our RNN. So far, our RNN model was only accepting tensors containing one-hot encoded character on each step.
The extention to our model will be very simple: we will have and additional one-hot encoded tensor which will represent the artist. So on each step the RNN will accept one tensor which will consist of concatenated tensors representing character and artist. Look here for more.
Sampling from conditional language model RNN
After training, we sampled a couple of songs conditined on artist. Below you can find some results.
Him:
My fears
And the moment don't make me sing
So free from you
The pain you love me yeah
Whatever caused the warmth
You smile you're happy
You sit away
You say it's all in vain
Seems really possible, especially the fact the the word pain was used, which is very common in the lyrics of the artist.
ABBA:
Oh, my love it makes me close a thing
You've been heard, I must have waited
I hear you
So I say
Thank you for the music, that makes me cry
And you moving my bad as me, ah-hang wind in the hell
I was meant to be with you, I'll never be playing up
Bob Marley:
Mercy on judgment, we got so much
Alcohol, cry, cry, cry
Why don't try to find our own
I want to know, Lord, I wanna give you
Just saving it, learned
Is there any more?
All that damage done
That's all reason, don't worry
Need a hammer
I need you more and more
Coldplay:
Look at the stars
Into life matter where you lay
Saying no doubt
I don't want to fly
In my dreams and fight today
I will fall for you
All I know
And I want you to stay
Into the night
I want to live waiting
With my love and always
Have I wouldn't wasted
Would it hurt you
Kanye West:
I'm everywhere for you
The way that it couldn't stop
I mean it too late and love I made in the world
I told you so I took the studs full cold-stop
The hardest stressed growin'
The hustler raisin' on my tears
I know I'm true, one of your love
Looks pretty cool but keep in mind that we didn’t track the validation accuracy so some sampled lines could have been just memorized by our rnn. A better way to do it is to pick a model that gives best validation score during training (see the code for the next section where we performed training this way). We also noticed one interesting thing: the unconditional model usually performes better when you want to sample with a specified starting string. Our intuition is that when sampling from a conditional model with a specified starting string, we actually put two conditions on our model – starting string and an artist compared to the one condition in the case of previous model that we explored. And we didn’t have enough data to model that conditional distribution well (every artist has relatively limited number of songs).
We are making the code and models available and you can sample songs from our trained models even without gpu as it is not really computationally demanding.
Midi dataset
Next, we will work with a small midi dataset consisting of approximately piano songs. We have used the Nottingam piano dataset (training split only).
Turns out that any midi file can be converted to piano roll which is just is a time-frequency matrix where each row is a different MIDI pitch and each column is a different slice in time. So each piano song from our dataset will be represented as a matrix of size , where is a number of pitches of the piano. Here is an example of piano roll matrix:
This representation is very intuitive and easy to interpret even for a person that is not familiar with music theory. Each row represents a pitch: top rows represent low frequency pitches and bottom rows represent high pitches. Plus, we have a horizontal axis which represents time. So if we play a sound with a certain pitch for a certian period of time, we will see a horizontal line. Overall, this is very similar to piano tutorials on youtube.
Now, let’s try to see the similarities between the character-level model and our new task. In the current case, we will have to predict the pitches that will be played on the next timestep, given all the previously played pitches. So, if you look at the picture of the piano roll, each column represents some kind of a musical character and given all the previous musical characters, we want to predict the next one. Let’s pay attention to the difference between a text character and a musical character. If you recall, each character in our language model was represented by one-hot vector (meaning that only one value in our vector is and others are ). For music character multiple keys can be pressed at one timestep (since we are working with polyphonic dataset). In this case, each timestep will be represented by a vector which can contain more than one .
Training pitch-level piano music model
Before starting the training, we will have to adjust our loss that we have used for language model to account for different input that we discussed in the previous section. In the language model, we had one-hot encoded tensor (character) as an input on each timestep and one-hot encoded tensor as output (predicted next character). As we had to make a single exlusive choice for predicted next character, we used cross-entropy loss.
But now our model outputs a vector which is no longer one-hot encoded (multiple keys can be pressed). Of course, we can treat all possible combinations of pressed keys as a separate class, but this is intractable. Instead, we will treat each element of the output vector as a binary variable ( – pressing, – not pressing a key). We will define a separate loss for each element of the output vector to be binary cross-entropy. And our final loss will be an averaged sum of these binary cross-entropies. You can also read the code to get a better understanding.
After making the aforementioned changes, we trained our model. In the next section, we will perform sampling and inspect the results.
Sampling from pitch-level RNN
We have sampled piano rolls during the early stages of optimization:
You can see that our model is starting to learn one common pattern that is common among the songs from our dataset: each song consists of two different parts. First part contains a sequence of pitches that are played separately and are very distinguishable and are often singable (also know as melody). If you look at the sampled piano roll, this part can be clearly seen in the bottom. If you also have a look at the top of our piano roll, we can see a group of pitches that are usually played together – this is harmony or a progression of chords (pitches that are played together throughout the song) which accompanies the melody.
By the end of the training samples drawn from our model started to look like this:
As you can see they started to look more similar to the picture of the ground-truth piano roll that we showed in the previous sections.
After training, we have sampled songs and analyzed them. We got one sample with an interesting introduction. While another sample features a nice style transition. At the same time we generated a couple of examples with low temperature parameter which resulted in songs with a slow tempo: first one and a second one here. You can find the whole playlist here.
Sequence length and related problems
Now let’s look at our problem from the gpu memory consumption and speed point of view.
We greatly speed up computation by processing our sequences in batches. At the same time, as our sequences become longer (depending on the dataset), our max batch size starts to decrease. Why is it a case? As we use backpropagation to compute gradients, we need to store all the intermediate acitvations, which contribute the most to the memory consumption. As our sequence becomes longer, we need to store more activations, therefore, we can fit less examples in our batch.
Sometimes, we either have to work with really long sequences or we want to increase our batch size or maybe you just have a gpu with small amount of memory available. There are multiple possible solutions to reduce memory consumption in this case, but we will mention two, which will have different trade-offs.
First one is a truncated back propagation. The idea is to split the whole sequence into subsequences and treat them as separate batches with an exception that we process these batches in the order of split and every next batch uses hidden state of previous batch as an initial hidden state. We also provide an implementation of this approach, so that you can get the better understanding. This approach is obviously not an exact equivalent of processing the whole sequence but it makes more frequent updates and consumes less memory. On the other hand, there is a chance that we might not be able to capture long-term dependencies that span beyond the length of one subsequence.
Second one is gradient checkpointing. This method gives us a possibilty to use less memory while training our model on the whole sequence on the expence of performing more computation. If you recall, previously we mentioned that the most memory during training is occupied by activations. The idea of gradient checkpointing consists of storing only every -th activation and recomputing the unsaved activations later. This method is already implemented in Tensorflow and being implemented in Pytorch.
Conclusion and future work
In our work we trained simple generative model for text, extended our model to work with polyphonic music, briefly looked at how sampling works and how the temperature parameter affects our text and music samples – low temperature gives more stable results while high temperature adds more randomness which sometimes gives rise to very interesting samples.
Future work can include two directions – more applications or deeper analysis of the already trained models. Same models can be applied to your spotify listening history, for example. After training on your listening history data, you can give it a sequence of songs that you have listened to in the previous hour or so, and it will sample a playlist for you for the rest of the day. Well, you can also do the same for your browsing history, which will be just a cool tool to analyze your browsing behaviour patterns. Capture the accelerometer and gyroscope data from your phone while doing different activities (exercising in the gym, working in the office, sleeping) and learn to classify these activity stages. After that you can change your music playlist automatically, based on your activity (sleeping – calm music of rain, exercising in the gym – high intensity music). In terms of medical applications, model can be applied to detect heart problems based on pulse and other data, similar to this work.
It would be very interesting to analyze the neuron firings in our RNN trained for music generation like here. To see if the model learned some simple music concepts implicitly (like our discussion of harmony and melody). The hidden representation of RNN can be used to cluster our music dataset to find similar songs.
Let’s sample one last lyrics from our unconditional model to conclude this post 😀 :
The story ends
The sound of the blue
The tears were shining
The story of my life
I still believe
The story of my life
Every year the TIME photo department sits down to curate the strongest images that crossed our path over the previous 12 months. And every year, sitting with the images, we find ourselves mulling the ways this collection feels heavier than the last, how the year produced images unlike what we’ve seen before.
But this year something else, a tautness, runs through the collection – the tension of conflict, the anxiety over outcome, anticipation of excitement or in possibility. Somehow, these photographers are able to capture that coiled feeling and hold it within the four walls of a frame. Be it by impeccable timing or intentional framing, they have created a time capsule that feels as if it’s about to be opened.
You can feel it in the perfectly captured moment of Brazilian surfer Gabriel Medina suspended triumphantly in the air after earning the highest single-wave score in Olympic history, a passing moment on television frozen in time by photographer Jerome Brouillet. You can sense it in the image by photographer Al Drago of Journalist Evan Gershkovich on the tarmac as he approaches friends, colleagues–and the precipice of a year-long fight to bring him home. It’s in the frame captured by photographer Anna Moneymaker, of President Trump seconds after an assassination attempt in Butler, Pa., the suspense of the moment before he rose, throwing his fist in the air.
What follows is our attempt to string together that tension and bring it to the eyes of our readers. We hope it captures not only the events that defined the world over the last months, but also why, on the cusp of an uncertain new year, that world feels the way it does.
– Kim Bubello, Senior Photo Editor
Warning: Some of the following images are graphic in nature and might be disturbing to some viewers.
Armand “Mondo” Duplantis of Sweden in action as he vaults a new world record of 6.25 meters at the 2024 Paris Olympic Games, on Aug. 5.Aleksandra Szmigiel—ReutersMedical workers treat a victim after a Russian missile attack heavily damaged residential buildings in Kharkiv, Ukraine, on Jan. 23.Sofiia Gatilova—ReutersA search-and-rescue team prepares to enter a building following a magnitude-7.4 earthquake in Hualien, Taiwan, on April 3. The quake killed 17 and injured more than 900 others. Lam Yik Fei—The New York Times/ReduxMigrants from China warm themselves in Campo, Calif., after crossing the U.S.-Mexico border in a rainstorm, on March 6. The number of Chinese asylum seekers arriving via the southern border has surged since the pandemic.John Moore—Getty ImagesIsraeli munitions hit southern Lebanon on Sept. 30, as Israeli ground troops crossed the border to attack positions of the Hezbollah militia. Almost a year after the Hamas attack of Oct. 7 ignited a devastating war in the Gaza Strip—during which Israel and Hezbollah have also traded fire nearly daily—Israel turned its focus to the Iranian proxy force, sparking fears of a widening war.Leo Correa–APPalestinians emerge from the rubble and dust after an Israeli attack hit the Abu Aisha family’s house in Deir al-Balah, Gaza, on June 14. Ali Jadallah—Anadolu/Getty ImagesJournalist Evan Gershkovich approaches colleagues covering his arrival at Joint Base Andrews, Md., on Aug. 1. After being wrongfully detained by Russia’s Federal Security Service in March 2023, he was released in a prisoner exchange that involved seven nations and two dozen detainees.Al Drago—Bloomberg/Getty ImagesSupporters cheer for Republican presidential candidate and former President Donald Trump during a campaign rally at the SNHU Arena in Manchester, N.H., on Jan 20.Chip Somodevilla—Getty ImagesKindergartners at Myers Elementary School in Grand Blanc, Mich., use paper-plate glasses to safely watch the solar eclipse, on April 8. The total solar eclipse, which began its path across the U.S. in Texas and exited 2,000 miles later in Maine, was the last that will be visible in the contiguous United States until 2044.Jake MayPeople take pictures as a 2-month-old female pygmy hippo named Moo Deng eats with her mother Jona at Khao Kheow Open Zoo in Chonburi province, Thailand, on Sept. 16. Born on July 10 and revealed to the public later that month, the baby hippo (and her iconic facial expressions) quickly became a viral internet sensation.Athit Perawongmetha—ReutersHumanitarian aid is dropped from a Jordanian Air Force plane flying over northern Gaza, on April 23.Moises Saman—Magnum PhotosPeople pick up oranges as mutual aid groups distribute food and clothes under cold weather near the Migrant Assistance Center at St. Brigid Elementary School in New York City, on Jan. 20.Andres Kudacki—APNovak Djokovic slides at the net for a forehand against Francisco Cerundolo in the Men’s Singles fourth round match during Day Nine of the 2024 French Open in Paris, on June 3.Clive Mason—Getty ImagesA protestor meditates early Monday morning inside the pro-Palestinian encampment on Columbia University campus in New York City, on April 29. Andres Kudacki for TIMETuqa Ossama Ibrahim, 12, a Palestinian child from northern Gaza, who lost her legs to an Israeli airstrike, sits in a wheelchair while other Palestinian children play during the Muslim holy month of Ramadan, at Emirates Humanitarian City in Abu Dhabi, on March 19.Amr Alfiky—ReutersWith the Sphere visible through a window, friends on a bachelorette weekend ride the Monorail in Las Vegas, on Feb. 4.Sinna Nasseri—The New York Times/ReduxDonald Trump is surrounded by U.S. Secret Service agents at a campaign rally after an assassination attempt in Butler, Pa., on July 13.Evan Vucci—APPeople look through a window as former South African president Jacob Zuma, casts his ballot in Nkandla, Kwazulu Natal, South Africa during general elections, on May 29.Emilio Morenatti—APAthletes compete in the men’s individual triathlon at the Paris 2024 Olympic Games, on July 31.Robbie Lawrence for TIMELinda Jackson washes her hair at her home in the Navajo Nation, on July 11.Elliot Ross for TIMEAn Israeli family gathers during their son’s bar mitzvah in an underground bomb shelter near Nahariya, Israel on July 4, after Hezbollah fired more than 200 rockets into Israel in response to the killing of a senior Hezbollah commander in Lebanon.Amit ElkayamPeople flee after shots were fired near the Kansas City Chiefs’ Super Bowl LVIII victory parade in Kansas City, Missouri, on Feb. 14.Andrew Caballero-Reynolds—AFP/Getty ImagesYulia Navalnaya, center, widow of Alexey Navalny, stands in a queue with other voters at a polling station near the Russian embassy in Berlin, on March 17.Ebrahim Noroozi—APRelatives and friends mourn by the grave of Israeli soldier Eitan Itzhak Oster, who was killed in fighting in the northern border area with Lebanon, during his funeral at the Mount Herzl Military Cemetery in Jerusalem on Oct. 2.Ahmad Gharabli—AFP/Getty ImagesIstanbul erupted in jubilation after opposition candidate Ekrem Imamoglu’s historic victory in the March 31 municipal election. Turkey’s main opposition party CHP (Republican Peoples Party) won the polls across Turkey, handing a major defeat to Erdogan’s AKP after 22 years in power.Emin Ozmen—Magnum PhotosAsinate Lewabeka, a woman who makes an income washing and sorting cans, plastic bottles and other materials for recycling, burns trash near her home in Vunato settlement, Lautoka, on Viti Levu, Fiji, on May 9. Adam Ferguson for TIMEChinese military personnel search for missing victims following a landslide in Liangshui village at Zhaotong, China, on Jan. 22. Dozens of people were buried and eight confirmed killed when a landslide struck a remote and mountainous part of southwestern China. AFP/Getty ImagesAn emergency worker helping in the evacuation of Vovchansk sits behind the steering wheel of a vehicle in May. Vovchansk was heavily shelled by Russian artillery whose forces crossed into Ukraine in what is reported to be an attempt to create a new front as part of their summer offensive.Simon Townsley—Panos PicturesBrazil’s Gabriel Medina appears to levitate during the men’s surfing competition in the Paris 2024 Olympic Games, held in Teahupo’o, on the French Polynesian island of Tahiti, on July 29. He earned the highest single-wave score in Olympic history and went on to win the bronze medal.Jerome Brouillet—AFP/Getty ImagesA protestor is detained by police during a pro-Palestine march to the Manhattan Bridge in Brooklyn, NY, on May 11. Olga Federova—EPA-EFE/ShutterstockSonya Kryvolapchuk, 5, lies semi-conscious next to her mother, Natalia, 27, as she administers paracetamol with a syringe through a port as cancer has metastasized throughout her body from Retinoblastoma cancer at the Misto Dobra Palliative care center in Chernivtsi, Ukraine, July 28. Sonya was diagnosed with a brain tumor three years ago, and was scheduled to chemotherapy at the Ohmatdyt Hospital in Kyiv on Feb. 27, 2022, three days after the start of Russia’s full scale invasion of Ukraine. When Russia began its full-scale invasion, Sonya’s family was told the hospital was redirecting its resources to treat wounded soldiers, and Sonya’s chemo would be delayed indefinitely. Natalia and Sonya were diverted instead to Poland, where Sonya received many tests, but no treatment. By the time her mother decided to return to Ukraine for another attempt at treatment, her cancer had spread throughout her body. Sonya passed away in August 2024. Lynsey Addario for The New York TimesA detained protester being interviewed by the media from a prison van during a march on July 19 in Kolkata, India. Students and human rights organizations turned out in solidarity with the Bangladesh movement protesting 30 percent of government jobs being set aside for families of veterans of that country’s 1971 independence war. Avijit Ghosh—SOPA Images/LightRocket/Getty ImagesFormer President Donald Trump is shown covered by U.S. Secret Service agents after an assassination attempt during a rally for the Republican presidential candidate in Butler, Pa., on July 13.Anna Moneymaker—Getty ImagesThe aftermath of a container ship’s collision with the Francis Scott Key Bridge in Baltimore, Md., on March 26. The Singapore-flagged vessel hit a column supporting the bridge, causing part of the span to collapse and killing six construction workers who were on it. State officials estimated repair costs at up to $1.9 billion.Carolyn Van Houten—The Washington Post/Getty ImagesSulan, a migrant woman from Venezuela, is comforted by her daughter as she cries while recounting her journey to reach El Paso, Texas, on April 2. Christian Monterrosa—AFP/Getty ImagesIsraeli female soldiers pose for a photo on a position on the Gaza Strip border, in southern Israel, on Feb. 19.Tsafrir Abayov—APKansas City Chiefs Travis Kelce celebrates with Taylor Swift during NFL Super Bowl 58 LVIII football game between the San Francisco 49ers and the Kansas City Chiefs in Las Vegas, on Feb. 11.Charles Baus—CSM/ShutterstockSmoke hides ‘ninots’ or giant figures depicting doves of peace fighting over an olive branch by artist Escif, and the buildings of Plaza del Ayuntamiento during the ‘Mascleta’, an explosive barrage of firecrackers and fireworks during the traditional annual Fallas Festival, in Valencia, Spain, on March 15.Eva Manez—ReutersA member of Hezbollah, injured in the hands and face by the explosion of his pager, on Sept. 20 in Beirut. On Sept. 17 and 18, thousands of handheld pagers and hundreds of walkie-talkies intended for use by Hezbollah exploded simultaneously in two separate events across Lebanon and Syria. The saborate attack, widely attributed to Israel, killed at least 42 people, including at least 12 civilians, and wounded more than 3,000. William DanielsA crowd cheers members of the Sudanese military during a demonstration in Omdurman, outside Khartoum, on April 24. A feud between two generals fighting for power has dragged Sudan into civil war and turned Khartoum and its surroundings into a site of the world’s worst humanitarian catastrophe. Ivor Prickett—The New York Times/ReduxMen carry the coffin of Mohammad Mahdi Ammar, son of Hezbollah member of the Lebanese parliament, Ali Ammar, in Beirut on Sept. 18 He was killed by the detonation of sabotaged pagers across Lebanon.Mohamed Azakir—ReutersMourners at the collective funeral for 19 victims of a landslide caused by floods in Jablanica, Bosnia, on Oct. 15.Armin Durgut—APA local resident helps free a car that became stranded in a stretch of flooding road as Tropical Storm Helene strikes, on the outskirts of Boone, N.C., on Sept. 27.Jonathan Drake—ReutersYankees fans interfere with Mookie Betts of the Los Angeles Dodgers after he catches a fly ball in foul territory during Game Four of the 2024 World Series in New York City on Oct. 29. The play resulted in an out; the Dodgers won the series in five games.Al Bello—Getty ImagesFans record videos on their phones as Chappell Roan performs at the Governors Ball music festival in Queens, N.Y., June 9.Cheney Orr—ReutersNoah Lyles of the U.S., in Lane 7, defeats Kishane Thompson of Jamaica and Fred Kerley of the U.S. to win the men’s 100m final during the Paris 2024 Olympic Games, on Aug. 4.James Lang—USA TODAY Sports/ReutersWomen near a building damaged during Russian missile strikes in Kyiv, on July 8.Valentyn Ogirenko—ReutersPeople rally at Place de la République in central Paris on July 3, a few days before the second round of French parliamentary elections. The demonstration was initiated by independent media, unions and other civil society organizations in reaction to the Rassemblement National (“National Rally”) leading the first round of balloting, with around 34% of the vote.William DanielsAn activist cries during a debate among lawmakers on a controversial bill seeking to lift a 2015 ban on female genital mutilation, at the National Assembly in Banjul, Gambia, on March 18. The National Assembly voted to advance the bill, but in July, Gambia’s parliament rejected the measure, maintaining the protections.Carmen Yasmine Abd AliSecretary of State Antony Blinken after landing in Istanbul, Turkey, on Jan. 5.Evelyn Hockstein—Pool/ReutersAn immigrant faces coils of razor wire after crossing the Rio Grande from Mexico in Eagle Pass, Texas, on March 17.John Moore—Getty ImagesFirefighters and volunteers attempt to extinguish a fire that broke out at a commercial depot used for oil barrels and flammable drums, near Muthurwa settlement in Nairobi, Kenya, on Jan. 30.Thomas Mukoya—ReutersVolunteers, including medics, help emergency and rescue personnel clear the rubble of a destroyed building at Ohmatdyt Children’s Hospital following a Russian missile attack in the Kyiv, on July 8.Roman Pilipey—AFP/Getty ImagesInjured Russian soldiers at a hospital underground in Bakhmut, on Jan. 22.Nanna Heitmann—Magnum PhotosUkrainian soldiers comfort Iryna Sharhorodska and her daughter Sonia, following the funeral for her husband Sergeant Oleksandr Sharhorodskyi, in Trebukhiv, Ukraine, on May 21.Nicole Tung—The New York Times/ReduxMelting ice in West Antarctica, Feb. 10th. In 2024, the El Niño phenomenon intensified warmer ocean currents near West Antarctica, accelerating ice melt under the floating ice shelves. This warming is associated with a weakening of easterly winds that normally help keep warmer waters away from the Antarctic shelf. With weaker winds, more Circumpolar Deep Water—naturally warmer, deeper ocean water—reached the ice shelves, where it melted ice from below, increasing sea-level rise risks globally.Jasper DoestGil Howard, a retired professor who happened upon a second career as a driving instructor, helps Khalida Noori to stay centered in a highway lane, in Modesto, Calif., Feb. 21. Local lore says that 82-year-old “Mr. Gil” has probably taught more Afghan women drivers in a California town than there are in all Afghanistan. Rachel Bujalski—The New York Times/ReduxA drone view shows sand dunes and palm trees on Oct. 24 partially covered by floodwaters, after rare rainfall hit the area last September, in Merzouga, Morocco.Stelios Misinas—ReutersEuropean Council President Charles Michel, German Chancellor Olaf Scholz, Canadian Prime Minister Justin Trudeau, French President Emmanuel Macron, Italian Prime Minister Giorgia Meloni, U.S. President Joe Biden, Japanese Prime Minister Fumio Kishida, (obscured) British Prime Minister Rishi Sunak and European Commission President Ursula von der Leyen gather to watch a parachute drop at San Domenico Golf Club during day one of the 50th G7 summit in Fasano, Italy, on June 13. Antonio Masiello—Getty ImagesA woman looks out from her balcony at vehicles trapped in the street by flooding in Valencia, Spain, on Oct. 30.Alberto Saiz—APVacationers play paddle ball as nearby forest fires burn in Viña del Mar, Chile, Feb. 2.Martin Thomas—Aton Chile/APA man, who was guiding a group of migrants from Guatemala across the Rio Grande, known in Mexico as the Rio Bravo, is rescued after almost drowning in Piedras Negras, Mexico, on Feb. 24. Andrew Lichtenstein—Corbis/Getty ImagesVice President and Democratic presidential candidate Kamala Harris speaks during a campaign rally on the Benjamin Franklin Parkway in Philadelphia, Pa., on Nov. 4.Andrew Caballero-Reynolds—AFP/Getty ImagesGold medalist Rebeca Andrade of Team Brazil, silver medalist Simone Biles of Team United States and, at the time, bronze medalist Jordan Chiles of Team United States celebrate on the podium at the Artistic Gymnastics Women’s Floor Exercise Medal Ceremony at the Paris 2024 Olympic Games, on Aug. 5.Elsa—Getty ImagesAn aircraft sits on the flooded tarmac of Salgado Filho International Airport in Porto Alegre, Brazil, on May 20. Anselmo Cunha—AFP/Getty ImagesA Texas National Guard soldier watches over immigrants who had crossed the U.S.-Mexico border in El Paso, Texas, on March 13.John Moore—Getty ImagesProtesters, with names of killed Palestinians painted on the palms of their hands, silently march in Warsaw, Poland, on Sept. 1.Rafal Milach—Magnum PhotosSnow surrounds the second story of a home in the Camp Sacramento community of Eldorado National Forest, Calif., on March 4.Noah Berger—San Francisco ChronicleAmara Ajagu watches as Vice President Kamala Harris, the Democratic presidential nominee, speaks on the fourth day of the Democratic National Convention at the United Center in Chicago, on Aug. 22.Todd Heisler—The New York Times/ReduxA woman uses her smartphone during a ceremony paying tribute to the victims of Hamas’ Oct. 7, 2023 attacks in Israel, on its first anniversary, organized by Council of French Jewish Institutions (CRIF) in Paris, on Oct. 7.Dimitar Dilkoff—AFP/Getty ImagesAnti-government protestors display Bangladesh’s national flag as they storm Prime Minister Sheikh Hasina’s palace in Dhaka, on Aug. 5.KM Asad—AFP/Getty ImagesLong-tailed macaques inside a cage near Phra Prang Sam Yot temple, which was set up by Department of National Parks, Wildlife and Plant Conservation personnel in order to capture monkeys, in Lopburi, Thailand, June 5. In May, local authorities stepped up the push against unruly monkeys, including boosting sterilization efforts that began during the pandemic.Chalinee Thirasupa—ReutersWorkers put down large plastic tarps to cover the side of a hill in the Baldwin Hills neighborhood of Los Angeles, CA on Sunday, Feb. 18, in preparation for heavy rains and potential flooding.Mark Abramson—The New York Times/ReduxPolice grab a protester as they break up an encampment on the University of Texas campus, on April 29.Lorianne WillettVolunteers work on Friday Nov. 1, to remove mud from the center of Paiporta, considered the ground zero of the devastating floods in the province of Valencia, Spain. Thousands of volunteers came from all over to help residents clean homes, businesses and streets, and complet other essential tasks in the days following the catastrophe on October 29. Santi Palacios for El PaísCommunity members blow bubbles at a vigil in Southport, England, on Aug. 5 to mourn Bebe King, 6, Elsie Dot Stancombe, 7, and Alice Dasilva Aguiar, 9, who were killed in a knife attack during a Taylor Swift-themed dance class.Dan Kitwood—Getty ImagesPresident Joe Biden speaks after signing a proclamation designating Nov. 17 as International Conservation Day during a tour of the Museu da Amazonia as he visits the Amazon Rainforest in Manaus, Brazil, before heading to Rio de Janeiro for the G20 Summit.Saul Loeb—AFP/Getty ImagesMembers of the Secret Service, above, and members of President Joe Biden’s campaign staff are seen outside the El Portal restaurant during a campaign event in Phoenix, March 19. Tom Brenner—The New York Times/ReduxCheerleaders practicing at Valley Elite All Stars on Oct. 3 in Allentown, PA. Dina Litovsky for The New York TimesA participant in a controlled burning exercise during the Women’s TREX – Traditional Fire Training Exchange held in Paredes de Coura, Portugal, on Feb. 5.Patririca de Melo Moreira—AFP/Getty ImagesElon Musk joins former President Donald Trump during a campaign rally at site of his first assassination attempt in Butler, Pa. on Oct. 5.Jim Watson—AFP/Getty ImagesA road damaged by Hurricane Helene near Asheville, N.C., on Oct. 2. Al Drago—The New York Times/ReduxNew York City Police arrests a pro-Palestinian protestor during a demonstration calling for a permanent ceasefire in Gaza, on Monday, Feb. 12, in New York. Several protesters were arrested as the NYC government implemented measures to restrict pro-Palestinian demonstrations. Andres Kudacki
Former President Donald Trump is flanked by his sons, Donald Trump Jr. and Eric Trump, as well as party members and supporters on the first night of the Republican National Convention in Milwaukee, WI, July 15.Joseph RushmoreAnthony Kunz, of Buffalo, NY, closes his eyes in prayer before participating in a National Men’s March to Abolish Abortion and Rally for Personhood in Boston, Mass. on Nov. 16, 2024. The march was founded by Catholic radio host Jim Havens and previously came to Mass., where Gov. Maura Healey has said she would not enforce a national abortion ban.Sophie Park for the New York Times
A child looks through a broken window in Rafah, Gaza Strip, Wednesday, Feb. 21. An estimated 1.5 million Palestinians displaced by the war took refuge in Rafah, as Israeli forces moved through the Strip in the war against Hamas. Fatima Shbair—APFarmers block a highway during a protest near Mollerussa, Spain, Feb. 6. Tractor protests across the country blocked highways to demand of changes in European Union policies. Emilio Morenatti—APBallerinas gather before setting the Guinness World Record for most ballerina dancers en pointe simultaneously at the Plaza Hotel in New York, on April 17. The record was achieved by Youth America Grand Prix (USA) as 353 dancers held en pointe for one minute.Bess Adler —GothamistVice President Kamala Harris, right, the Democratic presidential nominee, appears with Maya Rudolph on “Saturday Night Live,” in New York, on Nov. 2.Haiyun Jiang—The New York Times/ReduxA resident wades through a flooded street caused by heavy rains from typhoon Toraji in Ilagan City, Isabela province, northern Philippines, on Nov. 12.Noel Celis—APAn animal flees as the Park Fire tears through the Cohasset community in Butte County, Calif., on July 25.Noah Berger—APRepublican presidential nominee Donald Trump poses with employees during a visit to McDonald’s in Feasterville-Trevose, Pa., Oct. 20.Doug Mills—The New York Times/AP/PoolFamilies of the hostages held in Gaza and supporters approach Jerusalem on the final day of a four-day march from areas attacked on October 7 in southern Israel to Jerusalem, on March 2. Amid fraught negotiations between Israel and Hamas over conditions for a ceasefire, the families of the hostages held the march to keep attention focused on the plight of their loved ones still in captivity and to further pressure the Israeli government to secure a deal that would release them.Tamir KalifaLayan Harouda, 15, floats in the Persian Gulf off the coast of Qatar, on May 21. She fled Gaza with her family in November and wonders if they will ever be able to return home. She protected her younger siblings when airstrikes pounded her hometown of Gaza City late last year. She says the scenes of the wars she has lived through haunt her daily. ‘I was robbed of my youth, we have lived through things no one ever should,” she said. Tanya HabjouqaSudanese women and children register with Chadian authorities upon arrival as refugees in Adre, Chad, a border town in the Ouaddaï province on June 10.Nicolò Filippo RossoIn August, a large fire front advances over the Pantanal, the largest tropical wetland on the planet. The South American region, located largely in southwestern Brazil, has been facing a historic drought due to human actions and climate change. Lalo de Almeida—Panos PicturesFloodwaters and a destroyed building block a road in Swannanoa, N.C., in the wake of Hurricane Helene on Sept. 27. The storm brought as much as 30 in. of rain to areas already saturated by an earlier front.Mike Belleme—The New York Times/ReduxA view of downtown Port-au-Prince, Haiti, from a Kenyan security force patrol vehicle, on Sept. 25. Despite the deployment of a Kenyan-led international police force, many parts of Port-au-Prince remain deserted because of the fear of gangs. Adriana Zehbrauskas—The New York TimesPalestinian children taking refuge in Tel al-Sultan region decorate their tents with lanterns ahead of the holy Islamic month of Ramadan in Rafah, Gaza, on Feb. 29.Belal Khaled—Anadolu/Getty Images
The original version of this story misstated the lane that Noah Lyles was running in during the 100m final at the Paris 2024 Olympics. It was lane 7, not lane 3.
이자형매년 TIME 사진부는 지난 12개월 동안 우리 길을 가로지른 가장 강력한 이미지를 선별하기 위해 앉습니다. 그리고 매년 이미지와 함께 앉아, 우리는 이 컬렉션이 지난 것보다 더 무겁게 느껴지는 방식, 올해가 우리가 전에 본 것과 다른 이미지를 만들어낸 방식에 대해 숙고합니다.
하지만 올해는 다른 무언가, 긴장감이 컬렉션을 관통합니다. 갈등의 긴장, 결과에 대한 불안, 흥분이나 가능성에 대한 기대. 어떻게든 이 사진작가들은 그 웅크리고 있는 느낌을 포착하여 프레임의 네 벽 안에 보관합니다. 완벽한 타이밍이든 의도적인 프레이밍이든, 그들은 마치 곧 열릴 것 같은 타임캡슐을 만들었습니다.
올림픽 역사상 가장 높은 단일 웨이브 점수를 획득한 후 공중에 승리감에 넘쳐 있는 브라질 서퍼 가브리엘 메디나 의 완벽하게 포착된 순간에서 느낄 수 있습니다 . 사진작가 제롬 브루예가 시간을 정지시킨 텔레비전의 순간입니다. 사진작가 알 드라고가 활주로에 있는 기자 에반 게르슈코비치가 친구, 동료, 그리고 그를 집으로 데려오기 위한 1년간의 싸움의 절벽에 다가가는 모습을 담은 이미지에서도 느낄 수 있습니다. 사진작가 애나 머니메이커가 펜실베이니아 버틀러에서 암살 시도가 있은 지 몇 초 후 트럼프 대통령을 포착한 프레임에서, 그가 일어나 주먹을 공중으로 던지기 전의 서스펜스가 느껴집니다.
다음은 그 긴장감을 엮어 독자의 눈에 띄게 하려는 우리의 시도입니다. 우리는 그것이 지난 몇 달 동안 세계를 정의했던 사건들뿐만 아니라, 불확실한 새해의 문턱에서 그 세계가 지금처럼 느끼는 이유도 포착하기를 바랍니다.
– 김부벨로, 수석 사진 편집자
경고: 다음 이미지 중 일부는 본질적으로 노골적이어서 일부 시청자에게는 불쾌감을 줄 수 있습니다.
8월 5일, 2024 파리 올림픽에서 스웨덴의 Armand “Mondo” Duplantis가 6.25m의 세계 신기록을 세우며 활약하고 있습니다. Aleksandra Szmigiel—로이터의료진이 1월 23일 우크라이나 하르키우에서 러시아 미사일 공격으로 주거 건물이 심하게 파손된 후 환자를 치료하고 있다. 소피아 가틸로바—로이터수색 및 구조대가 4월 3일 대만 화롄에서 규모 7.4의 지진이 발생한 후 건물에 들어가려고 준비하고 있습니다. 이 지진으로 17명이 사망하고 900명 이상이 부상을 입었습니다. 램 익 페이—뉴욕 타임스/리덕스3월 6일, 폭우 속에서 미국-멕시코 국경을 넘은 후 캘리포니아 캄포에서 몸을 녹이는 중국 이주민들. 팬데믹 이후 남부 국경을 통해 도착하는 중국인 망명 신청자 수가 급증했습니다. 존 무어—게티 이미지이스라엘 군수품은 9월 30일 레바논 남부에 떨어졌고, 이스라엘 지상군은 헤즈볼라 민병대의 진지를 공격하기 위해 국경을 넘었습니다. 10월 7일 하마스의 공격으로 가자 지구에서 파괴적인 전쟁이 시작된 지 거의 1년이 지난 지금, 이스라엘과 헤즈볼라는 거의 매일 총격전을 벌이고 있습니다. 이스라엘은 이란의 대리군에 초점을 맞추면서 전쟁이 확대될 것이라는 우려를 불러일으켰습니다. 레오 코레아–AP이스라엘의 공격으로 가자 지구 데이르 알-발라흐에 있는 아부 아이샤 가족의 집이 타격을 입은 후, 팔레스타인인들이 잔해와 먼지 속에서 나오고 있다(6월 14일). Ali Jadallah—Anadolu/Getty Images기자 에반 게르슈코비치가 8월 1일 메릴랜드 주 앤드루스 공동기지에 도착한 모습을 취재하던 동료들에게 다가가고 있다. 그는 2023년 3월 러시아 연방 보안국에 부당하게 구금된 후 7개국과 20여 명의 수감자가 관련된 포로 교환을 통해 풀려났다. 알 드라고—블룸버그/게티 이미지지지자들이 1월 20일 뉴햄프셔주 맨체스터의 SNHU 경기장에서 열린 선거 집회에서 공화당 대선 후보이자 전 대통령인 도널드 트럼프를 응원하고 있다. Chip Somodevilla—Getty Images미시간주 그랜드 블랑에 있는 마이어스 초등학교 유치원생들이 4월 8일 종이 접시 안경을 사용해 안전하게 일식을 지켜보고 있다. 텍사스에서 미국을 가로질러 이동을 시작해 2,000마일 떨어진 메인에서 끝난 이 일식은 2044년까지 미국 본토에서 볼 수 있는 마지막 일식이었다. 제이크 메이사람들이 9월 16일 태국 촌부리주의 카오키오 오픈 동물원에서 어미 조나와 함께 식사하는 2개월 된 암컷 피그미 하마 무 덩을 사진으로 찍고 있다. 7월 10일에 태어나 그 달 말에 대중에게 공개된 이 아기 하마(그리고 그녀의 상징적인 표정)는 금세 인터넷에서 화제가 되었다. Athit Perawongmetha—Reuters4월 23일, 가자 북부를 비행하는 요르단 공군기에서 인도적 지원이 투하되었습니다. Moises Saman—Magnum Photos1월 20일 뉴욕 시 세인트 브리짓 초등학교의 이주자 지원 센터 근처에서 추운 날씨에 상호 지원 그룹이 음식과 옷을 나눠주는 동안 사람들이 오렌지를 집어 들고 있다. 안드레스 쿠다키—AP노박 조코비치가 6월 3일 파리에서 열린 2024년 프랑스 오픈 9일차 남자 싱글 4라운드 경기에서 프란시스코 세룬돌로를 상대로 포핸드를 위해 그물을 향해 슬라이드하고 있다. 클라이브 메이슨—게티 이미지4월 29일 뉴욕시 컬럼비아 대학교 캠퍼스의 팔레스타인 지지 캠프에서 월요일 이른 아침 시위자가 명상을 하고 있다. TIME의 Andres Kudacki이스라엘 공습으로 다리를 잃은 북부 가자 출신의 팔레스타인 어린이, 투카 오사마 이브라힘(12세)이 3월 19일 아부다비의 에미레이트 인도주의 도시에서 이슬람의 신성한 라마단 달 동안 다른 팔레스타인 어린이들이 놀고 있는 동안 휠체어에 앉아 있다. 암르 알피키—로이터2월 4일, 라스베거스에서 처녀 파티 주말을 보내는 친구들이 창문을 통해 구체를 바라보며 모노레일을 타고 있습니다. Sinna Nasseri—The New York Times/Redux도널드 트럼프는 7월 13일 펜실베이니아 버틀러에서 암살 시도 후 선거 유세에서 미국 시크릿 서비스 요원들에게 둘러싸여 있습니다. Evan Vucci—AP사람들이 5월 29일 총선거 때 남아프리카 공화국 콰줄루나탈주 은칸들라에서 전 남아프리카 공화국 대통령 제이콥 주마가 투표용지를 던지는 모습을 창문을 통해 바라보고 있다. 에밀리오 모레나티—AP선수들이 7월 31일 파리 2024 올림픽 남자 개인 트라이애슬론에서 경쟁하고 있습니다. TIME의 Robbie Lawrence린다 잭슨이 7월 11일 나바호족 거주지에서 머리를 감고 있다. TIME의 엘리엇 로스이스라엘 가족이 7월 4일 이스라엘 나하리야 근처의 지하 방공호에서 아들의 바 미츠바를 치르는 동안 모였습니다. 헤즈볼라가 레바논에서 헤즈볼라 고위 사령관을 살해한 데 대한 대응으로 이스라엘에 로켓 200발 이상을 발사한 후였습니다. 아밋 엘카얌2월 14일 미주리주 캔자스시티에서 열린 캔자스시티 치프스의 슈퍼볼 LVIII 우승 퍼레이드 근처에서 총격이 가해진 후 사람들이 도망치고 있다. Andrew Caballero-Reynolds—AFP/Getty Images3월 17일 베를린 러시아 대사관 근처 투표소에서 다른 유권자들과 함께 줄을 서 있는 알렉세이 나발니의 미망인 율리아 나발나야(중앙). 에브라힘 노루지—AP10월 2일 예루살렘의 헤르츨 산 군사 묘지에서 열린 장례식에서 레바논 북부 국경 지역에서 전투 중 사망한 이스라엘 군인 Eitan Itzhak Oster의 무덤 옆에서 애도하는 친척과 친구들. Ahmad Gharabli—AFP/Getty Images이스탄불은 3월 31일 지방선거에서 야당 후보 에크렘 이마모글루가 역사적인 승리를 거두자 환호에 휩싸였다. 터키의 주요 야당인 CHP(공화인민당)가 터키 전역에서 승리하면서 22년간 집권한 에르도안의 AKP에게 큰 패배를 안겼다. 에민 오즈멘—매그넘 포토스5월 9일 피지 비티레부의 라우토카 부나토 정착촌에 있는 자신의 집 근처에서 캔, 플라스틱 병 및 기타 재활용품을 세척하고 분류하여 수입을 올리는 여성 아시나테 레와베카가 쓰레기를 태우고 있다. TIME의 애덤 퍼거슨중국 군인들이 1월 22일 중국 자오퉁의 량수이 마을에서 산사태가 발생한 후 실종된 희생자를 수색하고 있다. 산사태가 중국 남서부의 외딴 산악 지역을 강타하여 수십 명이 묻히고 8명이 사망한 것으로 확인되었다. AFP/Getty Images5월, 보프찬스크 대피를 돕는 응급 요원이 차량 운전대 뒤에 앉아 있다. 보프찬스크는 러시아 포병대에 의해 집중 포격을 받았는데, 러시아 포병대는 여름 공세의 일환으로 새로운 전선을 만들려는 시도로 우크라이나로 진군한 것으로 알려졌다. Simon Townsley—Panos Pictures브라질의 가브리엘 메디나가 7월 29일 프랑스령 폴리네시아 타히티 섬의 테아후포오에서 열린 파리 2024 올림픽 남자 서핑 경기에서 공중에 떠 있는 것처럼 보인다. 그는 올림픽 역사상 가장 높은 싱글 웨이브 점수를 획득했고 동메달을 따냈다. 제롬 브루이예—AFP/게티 이미지5월 11일 뉴욕 브루클린의 맨해튼 다리로 팔레스타인 지지 시위를 하는 동안 경찰이 시위자를 구금하고 있다. 올가 페데로바—EPA-EFE/Shutterstock영어: Sonya Kryvolapchuk(5세)가 어머니 Natalia(27세) 옆에 반쯤 의식이 있는 채로 누워 있다. 그녀는 망막모세포종 암으로 인해 암이 몸 전체로 전이된 상태에서 포트를 통해 주사기로 파라세타몰을 투여하고 있다. 우크라이나 체르니우치에 있는 Misto Dobra 완화 치료 센터가 7월 28일에 이 사실을 밝혔다. Sonya는 3년 전에 뇌종양 진단을 받았고, 러시아가 우크라이나를 본격적으로 침공한 지 3일 후인 2022년 2월 27일에 키이우에 있는 Ohmatdyt 병원에서 항암 화학 요법을 받을 예정이었다. 러시아가 본격적으로 침공을 시작했을 때, Sonya의 가족은 병원에서 부상당한 군인을 치료하는 데 자원을 재분배하고 있으며 Sonya의 항암 화학 요법은 무기한 연기될 것이라는 말을 들었다. Natalia와 Sonya는 대신 폴란드로 이송되었고, Sonya는 많은 검사를 받았지만 치료는 받지 못했다. 어머니가 치료를 위해 우크라이나로 돌아가기로 했을 때, 그녀의 암은 이미 몸 전체로 퍼졌다. Sonya는 2024년 8월에 사망했습니다. Lynsey Addario for The New York Times7월 19일 인도 콜카타에서 열린 시위에서 교도소 밴에서 언론의 인터뷰를 받는 구금 시위자. 학생들과 인권 단체들이 방글라데시 운동에 연대하여 1971년 독립 전쟁 참전 용사 가족을 위해 정부 일자리의 30%를 따로 마련하는 것에 항의했다. 아비짓 고쉬—SOPA Images/LightRocket/Getty Images도널드 트럼프 전 대통령은 7월 13일 펜실베이니아주 버틀러에서 열린 공화당 대선 후보 집회에서 암살 시도 후 미국 시크릿 서비스 요원들에게 보호받고 있는 모습이 포착되었습니다. Anna Moneymaker—Getty Images3월 26일 메릴랜드주 볼티모어의 프랜시스 스콧 키 다리와 컨테이너선이 충돌한 후의 모습. 싱가포르 국적 선박이 다리를 지탱하는 기둥에 부딪혀 일부 구간이 무너지고, 그 위에 있던 건설 노동자 6명이 사망했습니다. 주 관리들은 수리 비용이 최대 19억 달러에 이를 것으로 추산했습니다. 캐럴린 반 하우텐—워싱턴 포스트/게티 이미지베네수엘라 출신 이주 여성인 술란은 4월 2일 텍사스 엘파소에 도착하기까지의 여정을 회상하며 울고 있는 딸에게 위로받고 있다. Christian Monterrosa—AFP/Getty Images이스라엘 여성 군인들이 2월 19일 이스라엘 남부 가자 지구 국경의 한 위치에서 사진을 찍고 있다. 차프리르 아바요프—AP캔자스시티 치프스의 트래비스 켈스가 2월 11일 라스베이거스에서 열린 샌프란시스코 49ers와 캔자스시티 치프스 간 NFL 슈퍼볼 58 LVIII 축구 경기에서 테일러 스위프트와 함께 축하하고 있다. Charles Baus—CSM/Shutterstock연기가 올리브 가지를 놓고 싸우는 평화의 비둘기를 묘사한 예술가 Escif의 ‘ninots’ 또는 거대한 인물과 스페인 발렌시아에서 3월 15일에 열린 전통적인 연례 Fallas 축제에서 폭죽과 불꽃놀이의 폭발적인 폭격인 ‘Mascleta’ 동안 Plaza del Ayuntamiento의 건물을 숨깁니다. Eva Manez—Reuters9월 20일 베이루트에서 페이저 폭발로 손과 얼굴에 부상을 입은 헤즈볼라 구성원. 9월 17일과 18일, 헤즈볼라가 사용하기 위해 제작된 수천 대의 핸드헬드 페이저와 수백 대의 워키토키가 레바논과 시리아에서 두 차례에 걸쳐 동시에 폭발했습니다. 이스라엘의 소행으로 널리 알려진 이 사보라트 공격으로 최소 12명의 민간인을 포함한 최소 42명이 사망했고 3,000명 이상이 부상당했습니다. 윌리엄 대니얼스4월 24일, 하르툼 외곽 옴두르만에서 열린 시위에서 수단군을 환호하는 군중. 권력을 놓고 싸우는 두 장군 간의 불화로 수단은 내전으로 치닫고 있으며, 하르툼과 그 주변 지역은 세계 최악의 인도주의적 재앙이 벌어지는 곳이 되었습니다. Ivor Prickett—The New York Times/Redux남자들이 9월 18일 베이루트에서 레바논 의회의 헤즈볼라 의원인 알리 아마르의 아들 모하마드 마흐디 아마르의 관을 나르고 있다. 그는 레바논 전역에서 방해 공작된 페이저의 폭발로 사망했다. 모하메드 아자키르—로이터10월 15일 보스니아 자블라니차에서 홍수로 인한 산사태로 사망한 19명의 희생자를 위한 집단 장례식에 모인 애도자들. Armin Durgut—AP9월 27일 노스캐롤라이나주 부니 외곽에서 열대성 폭풍 헬렌이 덮치면서 홍수로 인해 도로에 갇힌 차량을 지역 주민이 구출하는 모습. 조나단 드레이크—로이터2024년 월드시리즈 4차전에서 파울 구역에서 플라이볼을 잡은 로스앤젤레스 다저스의 무키 베츠를 방해하는 양키스 팬들(10월 29일 뉴욕 시). 이 플레이는 아웃으로 이어졌고 다저스는 5경기 만에 시리즈에서 승리했다. 앨 벨로—게티 이미지팬들이 6월 9일 뉴욕 퀸즈에서 열린 Governors Ball 음악 페스티벌에서 Chappell Roan이 공연하는 모습을 휴대전화로 녹화하고 있다. Cheney Orr—Reuters8월 4일 파리 2024 올림픽 남자 100m 결승에서 7번 레인에 있는 미국의 노아 라일즈가 자메이카의 키샤인 톰슨과 미국의 프레드 컬리를 물리치고 우승을 차지했습니다. 제임스 랭—USA TODAY Sports/Reuters7월 8일 키이우에서 러시아 미사일 공격으로 파손된 건물 근처에 있는 여성들. Valentyn Ogirenko—Reuters프랑스 의회 선거 2차 투표를 며칠 앞둔 7월 3일, 파리 중심부의 플라스 드 라 레퓌블리크에서 사람들이 집회를 벌이고 있다. 이 시위는 Rassemblement National(“National Rally”)이 1차 투표에서 약 34%의 득표율로 선두를 차지한 데 대한 반응으로 독립 언론, 노조 및 기타 시민 사회 단체가 주도했다. 윌리엄 대니얼스3월 18일 감비아 반줄의 국회에서 여성 생식기 절제 금지령을 해제하려는 논란의 여지가 있는 법안에 대한 의원들 간의 토론에서 한 활동가가 울고 있다. 국회는 법안을 통과시키기로 투표했지만, 7월에 감비아 의회는 이 조치를 거부하고 보호 조치를 유지했다. 카르멘 야스민 압드 알리1월 5일 터키 이스탄불에 도착한 앤토니 블링컨 국무장관. 에블린 호크스타인—풀/로이터3월 17일 텍사스주 이글 패스에서 멕시코에서 리오 그란데 강을 건넌 이민자가 날카로운 철조망에 직면해 있다. 존 무어—게티 이미지소방관과 자원봉사자들이 1월 30일 케냐 나이로비의 무투르와 정착지 근처, 석유통과 가연성 드럼을 보관하는 상업용 창고에서 발생한 화재를 진압하려고 시도하고 있다. Thomas Mukoya—Reuters의료진을 포함한 자원봉사자들이 7월 8일 키이우에서 러시아 미사일 공격 이후 오마디트 어린이 병원에서 파괴된 건물의 잔해를 치우는 응급 및 구조 인력을 돕고 있다. Roman Pilipey—AFP/Getty Images1월 22일 바흐무트 지하 병원에서 부상당한 러시아 군인들. Nanna Heitmann—Magnum Photos우크라이나 군인들이 5월 21일 우크라이나 트레부히우에서 남편인 올렉산드르 샤르호로드스키 상사의 장례식이 끝난 후 이리나 샤르호로드스카와 그녀의 딸 소냐를 위로하고 있다. 니콜 퉁—뉴욕타임스/리덕스2월 10일, 서남극의 녹는 얼음. 2024년, 엘니뇨 현상으로 서남극 근처의 따뜻한 해류가 강해져 떠다니는 빙붕 아래의 얼음이 더 빨리 녹았습니다. 이러한 온난화는 일반적으로 따뜻한 물이 남극 빙붕에서 멀어지도록 하는 동풍이 약해지는 것과 관련이 있습니다. 바람이 약해지면서 더 많은 극지방 심층수(자연적으로 더 따뜻하고 깊은 바닷물)가 빙붕에 도달하여 아래에서 얼음을 녹였고, 전 세계적으로 해수면 상승 위험이 증가했습니다. 재스퍼 도스트운전 강사로서 두 번째 경력을 쌓은 은퇴한 교수 길 하워드가 2월 21일 캘리포니아 모데스토에서 칼리다 누리가 고속도로 차선 중앙에 머물도록 돕고 있다. 지역 전설에 따르면 82세의 “길 씨”는 캘리포니아 마을에서 아프가니스탄 전체보다 더 많은 아프간 여성 운전자를 가르쳤을 가능성이 크다고 한다. 레이첼 부잘스키—뉴욕 타임스/리덕스드론 뷰는 10월 24일 모로코 메르주가에서 작년 9월에 이 지역에 드문 비가 내린 후 홍수로 부분적으로 덮인 모래 언덕과 야자수를 보여줍니다. Stelios Misinas—Reuters유럽 이사회 의장 샤를 미셸, 독일 총리 올라프 숄츠, 캐나다 총리 쥐스탱 트뤼도, 프랑스 대통령 에마뉘엘 마크롱, 이탈리아 총리 조르지아 멜로니, 미국 대통령 조 바이든, 일본 총리 기시다 후미오(가려짐), 영국 총리 리시 수낵과 유럽 위원회 위원장 우르줄라 폰 데어 라이엔이 6월 13일 이탈리아 파사노에서 열린 제50회 G7 정상회의 첫날 산 도메니코 골프 클럽에서 낙하산 투하를 지켜보기 위해 모였습니다. 안토니오 마시엘로—게티 이미지10월 30일 스페인 발렌시아에서 홍수로 거리에 갇힌 차량을 발코니에서 바라보는 한 여성. Alberto Saiz—AP휴가객들이 칠레 비냐델마르에서 인근 산불이 타오르는 가운데 패들볼을 즐기고 있다, 2월 2일. Martin Thomas—Aton Chile/AP과테말라에서 온 이주민들을 리오 그란데(멕시코에서는 리오 브라보라고 함)를 건너도록 안내하던 한 남자가 2월 24일 멕시코 피에드라스 네그라스에서 거의 익사할 뻔한 후 구조되었습니다. Andrew Lichtenstein—Corbis/Getty Images부통령이자 민주당 대선 후보인 카말라 해리스가 11월 4일 펜실베이니아주 필라델피아의 벤저민 프랭클린 파크웨이에서 열린 선거 유세에서 연설하고 있다. Andrew Caballero-Reynolds—AFP/Getty Images브라질 대표팀의 금메달리스트 Rebeca Andrade, 미국 대표팀의 은메달리스트 Simone Biles, 당시 미국 대표팀의 동메달리스트 Jordan Chiles가 8월 5일 파리 2024 올림픽에서 열린 예술체조 여자 마루 운동 메달 시상식에서 포디엄에 올라 축하하고 있다. Elsa—Getty Images5월 20일 브라질 포르투알레그레 살가도 필류 국제공항의 침수된 활주로 위에 항공기 한 대가 앉아 있다. 안셀모 쿠냐(Anselmo Cunha)—AFP/Getty Images3월 13일 텍사스 엘파소에서 미국-멕시코 국경을 넘은 이민자들을 감시하는 텍사스 주방위군 병사. 존 무어—게티 이미지9월 1일 폴란드 바르샤바에서 살해된 팔레스타인인의 이름을 손바닥에 그린 시위자들이 침묵 속에 행진하고 있다. Rafal Milach—Magnum Photos3월 4일 캘리포니아주 엘도라도 국립 삼림의 캠프 새크라멘토 커뮤니티에 있는 한 주택의 2층이 눈으로 뒤덮여 있습니다. Noah Berger—샌프란시스코 크로니클아마라 아자구가 8월 22일 시카고 유나이티드 센터에서 열린 민주당 전당대회 4일차에 민주당 대선 후보인 카말라 해리스 부통령이 연설하는 모습을 지켜보고 있다. 토드 하이슬러—뉴욕타임스/리덕스여성이 2023년 10월 7일 이스라엘에서 발생한 하마스의 공격 희생자들을 추모하는 행사에서 스마트폰을 사용하고 있다. 이 행사는 1주년을 맞아 프랑스 유대인 기관 협의회(CRIF)가 파리에서 주최했다. 디미타르 딜코프—AFP/게티 이미지반정부 시위대가 8월 5일 다카에 있는 셰이크 하시나 총리의 궁전을 습격하면서 방글라데시의 국기를 들고 있다. KM 아사드—AFP/게티 이미지태국 로프부리에서 국립공원, 야생동물 및 식물 보호부 직원들이 원숭이를 잡기 위해 설치한 프라프랑삼욧 사원 근처 우리 안에 있는 긴꼬리원숭이들, 6월 5일. 5월에 지방 당국은 난폭한 원숭이에 대한 단속을 강화했는데, 여기에는 팬데믹 동안 시작된 불임화 노력도 포함되었다. 찰리니 티라수파—로이터노동자들이 2월 18일 일요일 캘리포니아주 로스앤젤레스의 볼드윈 힐스 동네 언덕 옆을 덮기 위해 큰 플라스틱 방수포를 깔고 있다. 폭우와 잠재적인 홍수에 대비하기 위해서다. Mark Abramson—The New York Times/Redux경찰이 4월 29일 텍사스 대학교 캠퍼스에서 야영지를 해산하는 동안 시위자를 붙잡고 있다. Lorianne Willett자원봉사자들이 11월 1일 금요일에 스페인 발렌시아 지방의 파괴적인 홍수의 진원지로 여겨지는 파이포르타 중심부에서 진흙을 제거하기 위해 일하고 있습니다. 수천 명의 자원봉사자들이 10월 29일의 재앙 이후 며칠 동안 주민들이 집, 사업장, 거리를 청소하고 다른 필수적인 작업을 완료하도록 돕기 위해 전국에서 왔습니다. El País를 위한 Santi Palacios8월 5일 영국 사우스포트에서 열린 추모 기도회에서 지역 주민들이 거품을 불고 있다. 테일러 스위프트를 주제로 한 댄스 수업 중 칼에 찔려 사망한 6세의 베베 킹, 7세의 엘시 닷 스탠컴, 9세의 앨리스 다실바 아기아르를 애도하기 위한 것이다. 댄 키트우드—게티 이미지조 바이든 대통령이 브라질 마나우스의 아마존 열대우림을 방문하고 G20 정상회의를 위해 리우데자네이루로 향하기 전에 Museu da Amazonia를 둘러보는 동안 11월 17일을 국제 보존의 날로 지정하는 선언문에 서명한 후 연설하고 있다. Saul Loeb—AFP/Getty Images위의 시크릿 서비스 요원들과 조 바이든 대통령의 선거 캠프 직원들이 3월 19일 피닉스에서 열린 선거 행사에서 엘 포탈 레스토랑 밖에 서 있는 모습이다. 톰 브레너—뉴욕 타임스/리덕스10월 3일 펜실베이니아주 앨런타운에서 Valley Elite All Stars에서 연습하는 치어리더들. The New York Times의 Dina Litovsky2월 5일 포르투갈 Paredes de Coura에서 열린 여성 TREX – 전통 소방 훈련 교환 중 통제된 연소 훈련에 참가한 참가자. Patririca de Melo Moreira—AFP/Getty Images일론 머스크가 10월 5일 펜실베이니아주 버틀러에서 열린 그의 첫 암살 시도 현장에서 열린 선거 유세에 도널드 트럼프 전 대통령과 함께 참석했습니다. 짐 왓슨—AFP/게티 이미지10월 2일 노스캐롤라이나 애슈빌 인근에서 허리케인 헬렌으로 인해 파손된 도로. Al Drago—The New York Times/Redux뉴욕 시 경찰이 2월 12일 월요일 뉴욕에서 가자에서 영구적 휴전을 요구하는 시위 중 친팔레스타인 시위자를 체포했습니다. NYC 정부가 친팔레스타인 시위를 제한하는 조치를 시행하면서 여러 시위자가 체포되었습니다. 안드레스 쿠다키
전 대통령 도널드 트럼프가 7월 15일 위스콘신주 밀워키에서 열린 공화당 전당대회 첫날에 아들 도널드 트럼프 주니어와 에릭 트럼프, 그리고 당원과 지지자들과 함께 서 있다. 조셉 러시모어뉴욕 버팔로의 앤서니 쿤츠가 2024년 11월 16일 매사추세츠 보스턴에서 열리는 낙태 폐지와 인격을 위한 전국 남성 행진에 참여하기 전에 기도하며 눈을 감고 있습니다. 이 행진은 가톨릭 라디오 진행자 짐 헤이븐스가 창설했으며, 이전에 매사추세츠에서 열렸는데, 모라 힐리 주지사는 전국적인 낙태 금지령을 시행하지 않겠다고 말했습니다. 뉴욕 타임스의 소피 파크
2월 21일 수요일, 가자 지구 라파에서 깨진 창문을 통해 바라보는 어린이. 하마스와의 전쟁에서 이스라엘군이 지구를 통과하면서 전쟁으로 인해 피난민이 된 팔레스타인인 약 150만 명이 라파에 피난을 갔다. 파티마 슈바이르—AP스페인 몰레루사 근처에서 열린 시위에서 농부들이 고속도로를 막고 있다, 2월 6일. 전국의 트랙터 시위가 유럽 연합 정책의 변화를 요구하며 고속도로를 막았다. 에밀리오 모레나티—AP발레리나들이 4월 17일 뉴욕 플라자 호텔에서 가장 많은 발레리나 댄서 앙포네트를 동시에 선 기네스 세계 기록을 세우기 전에 모였습니다. 이 기록은 Youth America Grand Prix(미국)에서 353명의 댄서가 1분 동안 앙포네트를 선보이며 달성했습니다. Bess Adler —Gothamist민주당 대선 후보인 카말라 해리스 부통령(오른쪽)이 11월 2일 뉴욕에서 열린 “Saturday Night Live”에 마야 루돌프와 함께 출연했습니다. Haiyun Jiang—The New York Times/Redux11월 12일 필리핀 북부 이사벨라 주 일라간 시에서 태풍 토라지로 인한 폭우로 침수된 거리를 헤치고 있는 주민. 노엘 셀리스—AP7월 25일 캘리포니아주 버트 카운티의 코하셋 커뮤니티를 휩쓸고 지나가는 공원 화재 속에서 동물 한 마리가 도망치고 있다. 노아 버거—AP공화당 대선 후보 도널드 트럼프가 10월 20일 펜실베이니아주 피스터빌-트레보스에 있는 맥도날드를 방문해 직원들과 포즈를 취하고 있다. Doug Mills—The New York Times/AP/Pool가자지구에 억류된 인질의 가족들과 지지자들이 10월 7일 남부 이스라엘에서 공격을 받은 지역에서 예루살렘까지 4일간의 행진의 마지막 날인 3월 2일에 예루살렘으로 접근하고 있다. 이스라엘과 하마스 사이에 휴전 조건에 대한 긴장된 협상이 진행 중인 가운데, 인질 가족들은 여전히 포로로 잡혀 있는 사랑하는 사람들의 곤경에 주의를 집중시키고 이스라엘 정부에 그들을 석방하는 거래를 확보하도록 압력을 가하기 위해 행진을 계속했다. 타미르 칼리파15세의 라얀 하루다가 5월 21일 카타르 해안에서 페르시아만에 떠 있습니다. 그녀는 11월에 가족과 함께 가자에서 도망쳤고, 그들이 언제쯤 집으로 돌아갈 수 있을지 궁금해합니다. 그녀는 작년 말에 고향인 가자 시에 공습이 가해졌을 때 어린 동생들을 보호했습니다. 그녀는 자신이 겪은 전쟁의 장면이 매일 그녀를 괴롭힌다고 말합니다. “저는 젊음을 빼앗겼고, 우리는 누구도 겪어서는 안 될 일을 겪었습니다.”라고 그녀는 말했습니다. 타냐 하브주카수단 여성과 어린이들이 6월 10일 차드 와다이 주의 국경 도시인 아드레에 난민으로 도착해 차드 당국에 등록하고 있다. 니콜로 필리포 로소8월, 지구상에서 가장 큰 열대 습지인 판타날 위로 대규모 화재 전선이 진군합니다. 브라질 남서부에 위치한 남미 지역은 인간의 행동과 기후 변화로 인해 역사적인 가뭄에 직면해 있습니다. Lalo de Almeida—Panos Pictures9월 27일 허리케인 헬렌의 여파로 노스캐롤라이나주 스와나노아의 홍수와 도로의 파괴된 건물 블록. 이 폭풍은 이미 이전 전선으로 포화된 지역에 최대 30인치의 비를 가져왔습니다. Mike Belleme—The New York Times/Redux9월 25일 케냐 보안군 순찰차에서 본 아이티 포르토프랭스 도심 풍경. 케냐가 이끄는 국제 경찰이 배치되었음에도 불구하고 포르토프랭스의 많은 지역은 갱단에 대한 두려움 때문에 여전히 버려져 있다. Adriana Zehbrauskas—The New York Times2월 29일 가자 라파에서 텔 알-술탄 지역에 피난을 온 팔레스타인 어린이들이 이슬람의 신성한 달인 라마단을 앞두고 랜턴으로 텐트를 장식하고 있다. 벨랄 칼레드—아나돌루/게티 이미지
이 기사의 원본은 파리 2024 올림픽 100m 결승에서 노아 라일스가 달리던 레인을 잘못 기술했습니다. 레인 3이 아니라 레인 7이었습니다.
