�u���݂�LLM�ɐ^�̐��_�͍���v����Apple�̌����҂炪�_�����\

�@��Apple��AI�����҂��10��7���i���n���ԁj�A�uGSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models�v�iLLM�ɂ����鐔�w�I���_�̌��E�𗝉�����j�Ƃ����_���𔭕\�����B

�@���̘_���́ALLM�i��K�͌��ꃂ�f���j���A�{���ɐl�Ԃ̂悤�ɘ_���I�ɍl���Ė���������̂��A�Ƃ����^������؂��Ă���B���_�Ƃ��ẮALLM�͍��̂Ƃ���A�\�ʓI�ȃp�^�[����^���ē������o���Ă��邾���ŁA�^�̐��_�\�͎͂����Ă��Ȃ��Ǝ咣���Ă���B

�@�����҂�́A�����̖��_�����؂��邽�߂ɁA�uGSM-Symbolic�v�Ƃ����V�����e�X�g���@���J�������B����́ALLM�̐��w�I���_�\�͂�]�����邽�߂̃x���`�}�[�N�f�[�^�Z�b�g�uGSM8K�v�����ǂ��A���̕\���␔�����_��ɕς�����悤�ɂ������́B�܂��A�uGSM-NoOp�v�Ƃ����A���֌W�ȏ����܂񂾖��W���쐬���ALLM�̐��_�\�͂�]�������B

�@�����̌��ʁAOpenAI��GPT-4o��o1-preview�Ȃǂ�LLM�́A����LLM�Ɣ�ׂč������\�����������A����ł�GSM-NoOp�̂悤�Ȉ����|�����ɂ͎キ�A�^�̐��_�\�͂��l������ɂ͂܂��ۑ肪����Ƃ��Ă���B

�@�_���ł́A�����Ŗ��炩�ɂȂ����u��_�v�������Ă���B

�����⌾���񂵂�ς���ƍ�������

�@�Ⴆ�΁A�������LLM���������Ƃ��Ă��A���̖��̐�����ς�����A���������񂵂�ς��������ŁA���𗦂��傫�����������B

�@����́ALLM�����̖{���𗝉����ĉ����Ă���̂ł͂Ȃ��A�P���f�[�^�Ō����p�^�[����P���ɓ��Ă͂߂Ă��邾���ł���”\�����������Ă���B

��肪���G�ɂȂ�ƍ�������

�@�ȒP�Ȗ��Ȃ�����Ă��A��蕶�������Ȃ��ĕ��G�ɂȂ�ƁALLM�̐��𗦂͉�����A����ɓ����̂΂�‚����傫���Ȃ�B

�@��Ƃ��āA���O�d�b����̒ʘb�����Ɋւ�������x�[�X�ɁA���̓�Փx��4�i�K�ɒ����������ʂ̐��𗦂��A��Google��Gemma 2���OpenAI��GPT-o1 mini�A��Microsoft��Phi-3.5�Œ��ׂ��Ƃ���A�������LLM����Փx���オ��Ɛ��𗦂����������B

�ʘb�����̖��iImage Credits:Mirzadeh et al�j

�@4���x���̖��̓��e�́A�ȉ��̒ʂ�B��ԏオ�ł��ȒP�Ȃ��̂��B

• �d�b�{�b�N�X����d�b��������ɂ́A1��������0.6�h���|����܂��B60���̒ʘb�����͂�����ł����H
• �d�b�{�b�N�X����d�b��������ꍇ�A1��������0.6�h���|����܂��B10���𒴂���ƁA������1��������0.5�h���ɉ�����܂��B60���Ԃ̒ʘb�͂�����ł����H
• �z�e���̕����̓d�b����d�b��������ꍇ�A1��������0.6�h���|����܂��B10���o�߂���ƁA������1��������0.5�h���ɉ�����܂��B�ʘb�J�n����25 ���o�߂���ƁA�����͂���ɉ�����A1��������0.3�h���ɂȂ�܂��B60���Ԃ̒ʘb�͂�����ł����H
• �z�e���̓d�b����d�b��������ꍇ�A1��������0.6�h���|����܂��B10���o�߂���ƁA������1��������0.5�h���ɉ�����܂��B�ʘb�J�n����25���o�߂���ƁA�����͂���ɉ�����A1��������0.3�h���ɂȂ�܂��B���v�����z��10�h���𒴂���ꍇ�́A25�������ɂȂ�܂��B60���Ԃ̒ʘb�����͂�����ł����H

���֌W�ȏ��ɘf�킳���

�@��蕶�ɁA�ꌩ�֌W�����肻�������A���ۂɂ͉񓚂ɑS���e�����Ȃ�����lj�����ƁA�ԈႦ�₷���Ȃ�B

�@�Ⴆ�΁A�u�L�E�C���Z�Ž��n�����B�������A���̂������‚͏����������v�Ƃ������ŁALLM�͊֌W�̂Ȃ��u�������L�E�C�̐��v��S�̂̃L�E�C�̐���������Ă��܂��Ƃ����ԈႢ�������B

�L�E�C�̐��̖��iImage Credits:Mirzadeh et al�j

�@����́ALLM���g���[�j���O�f�[�^�Łu�����v�Ƃ������t���o�Ă�����u�|���Z�v������A�Ƃ������p�^�[�����@�B�I�Ɋw�K���Ă��邽�߂ɋN����ƍl������B

�@�����҂�́ALLM�̌��E�������ł��邩�ǂ����ɂ‚��Ă͖������Ă��Ȃ��B���݂�LLM���^�̐��w�I���_�\�͂��l������ɂ́A�p�^�[���F���𒴂����A��荂�x�Ȑ��_�\�͂̊J�����K�v�ł���ƌ��_�t���Ă���B���ɁA���̖{���𗝉����A���֌W�ȏ���K�؂ɏ����ł���\�͂̌��オ�s�Œ��ł���Ǝw�E����B