راه حل پيدا شد:
با يك تابع بايد متن مطلب را گرفت و كاركترها رو ريپليس كرد. سپس دوباره متن مطلب را به روز كرد. مشكل اين بود كه اين تابع ها پيدا نمي شد كه آخر سر از wiki tinymce پيدا كردم:
var value = tinymce.get('text').getContent();
value=value.replace('ي', 'ی').replace('ك','ک');
tinyMCE.get('text').setContent(value);
اينم آدرس ويكي tinymce:
http://www.tinymce.com/wiki.php/API3:method.tinymce.Editor.getContent