В данной работе выполнено математическое моделирование одного из важных блоков системной оптимизации геометрической формы зуба по напряженно-деформированному состоянию, который связан с надежностью передачи. Составлена функция оптимизации, основанная на системном методе. Проведено исследование напряженного состояния; показано, что прочность зуба обеспечивается в основном изгибной и контактной прочностью в области ножки зуба. Рассмотрены по отдельности оптимизация геометрии зуба по изгибным и контактным напряжениям. Определен оптимальный контур зуба в корневой части от действия сил в зацеплении, обеспечивающих усталостную прочность при изгибе. Выполнена оптимизация по контактным напряжениям – получена формула для длины контакта. Анализ показал, что для расчета на прочность зуба отпадает необходимость решать плоскую задачу теории упругости, достаточно балочной теории и формулы Герца с учетом трения. Для переходной кривой при отношении наименьшего радиуса кривизны к половине ширины зуба меньше 0,6 необходимо уточнение методом моментной депланационной теории упругости. Контур зуба представлен составной функцией в виде сплайна. Отмечены положительные и отрицательные стороны различных профилей зуба (эвольвенты, параболы и переходной кривой).