"kode-AI Translation Cloud API" 머신 러닝과 평가에 대해 담당자 인터뷰! (두 번째 부분)
다카덴샤 개발 사무소 「kode-AI Translation Cloud API」의 블로그에 대해 담당자 인터뷰를 실시합니다!
이 기사는 이전 기사의 두 번째 부분입니다.
3. 평가 결과 ~ BLEU 값이란 무엇입니까? ～
Satake: 10,000개의 데이터를 머신러닝하기 전과 후에 직접 머신러닝하지 않은 1,000개의 데이터를 더 학습하여 번역 정확도를 향상시켰습니다!
그리고 이 1,000개의 영어 번역본의 품질을 판단하는 기준은 그것들이 먼저 손으로 번역되었다는 것입니다!
시바타: 네, 맞습니다. 그건 그렇고, 사타케 씨, 위에서 말한 「BLEU 값」이 무엇인지 아십니까?
사타케: 기계적으로 평가된 값을 말씀하시는 건가요?
시바타: 교육에 사용되지 않는 평가용 영어 데이터 1,000개는 처음에 사람의 손으로 번역한 10,000개의 데이터와 얼마나 비슷한가요?
"BLEU 값"은 유사성에 대한 기계적 평가입니다.
사람이 번역한 번역과 자동 번역 결과 간의 유사성에 대한 백분율로 기계에 의해 평가되는 점수입니다.
사타케: 와~ 「BLEU 값」을 완벽하게 배웠어요!
시바타: 사전 학습 및 사후 학습 결과의 기계 평가(BLEU 값) 결과는 다음과 같습니다.
[학습전] 27.80 ⇒ [학습후] 54.49
사타케: 10,000개의 데이터를 훈련시키면 1,000개의 평가 데이터가 거의 두 배로 증가한 것을 확인할 수 있습니다!
시바타: 맞아요. 그리고 수동 평가의 결과는 다음과 같습니다.
[학습전 평균] 54.0⇒ [학습전 평균] 71.4
(*평가 기준: 100점 만점에 6점 만점, 번역 내용을 이해할 수 있는지 여부에 중점을 둠)
사타케: 30% 정도 개선된 거네요! 사람들이 평가했을 때 학습의 효과가 있었다는 것을 알 수 있습니다.
기계 학습 자체를 시키는 것에는 의미가 있다고 말할 수 있습니다! 이 시도를 하는 동안 어떤 어려움이 있었습니까?
4. 논의
시바타: 그렇죠, 밸런스를 잘 잡아 테스트 대상 데이터를 선택하는 것이 중요하다고 생각합니다.
예를 들어, 10,000개 항목의 데이터에서 문장 패턴은 동일한 데이터가 많지만 데이터의 고유 명사만 약간 다릅니다.
그 중에서 1,000개의 데이터를 추출할 때 비슷한 내용의 데이터만 수집하면 실험을 수행하는 의미가 없습니다.
그렇기 때문에 비슷한 일본어 문장을 먼저 그룹화하여 균형이 잘 잡혀 선택하는 것이 어려웠습니다.
사타케: 눈으로 선택하는 과정도 있었기 때문에 많은 인내와 시간이 필요했다고 생각합니다.
이러한 결과를 바탕으로 앞으로 개선된 점이 있습니까?
시바타: 결과 변환과 참조 변환의 유사성의 척도인 BLEU 값이 크게 증가했기 때문에 학습의 효과가 매우 높았다고 할 수 있다고 생각합니다.
수동 평가에서는 고유 명사의 오역을 제외하고는 내용을 이해할 수 있는 것으로 일반적으로 평가되었습니다.
고유 명사의 오역은 dictionary 기능으로 덮음으로써 더욱 개선될 것으로 기대할 수 있습니다.
사실 나중에 사전에 등록해 보니 가능한 한 100%에 가까운 번역이 재현되었습니다!
사타케: 역 이름과 같은 고유 명사의 사전 등록 기능을 미리 사용하는 것이 포인트!
시바타: 그 밖의 개선 사항에 관해서는, 앞으로 더 많은 데이터를 가지고 실험을 하고 싶습니다.
사실 이번에 10,000건이라는 숫자는 기계 학습에 사용되는 데이터의 양에 비해 적습니다.
더 많은 데이터로 실험하면 더 높은 학습 결과를 기대할 수 있다고 생각합니다!
사타케 : 이 연구의 결과로부터, 학습의 효과가 매우 높았다고 할 수 있기 때문에, 앞으로의 시도를 기대하고 있습니다.
어떤 상황에서 실제 작동을 기대할 수 있습니까?
시바타: 역이나 전철의 다국어 방송 텍스트로, 백화점의 실내 방송으로 활용할 수 있다고 생각합니다. 이중 언어 데이터를 축적하고 고유 명사를 제외한 부분에 대한 패턴을 대략적으로 형성했다면 실용화할 수 있습니다. 무엇보다도 처음부터 수동으로 번역할 필요가 없어 비용과 시간을 줄이는 데 도움이 됩니다.
사타케: 시바타 씨에게 신경 엔진의 머신 러닝 평가에 대해 이야기를 나눴는데, 앞으로 번역 정확도가 점점 더 향상될 것으로 기대되고 있습니다! 시바타 씨, 오늘도 시간 내주셔서 감사합니다!
시바타: 감사합니다.
사타케 : 개발 사무소 인터뷰, 다음은 어떤 개발자들이 하고 있습니까?
♪ 재미있는 이야기를 듣고 싶습니다!
하테부
