Добрый день. Отвод судье можно заявить по основаниям, прямо указанным в кодексах. Например по АПК РФ ст. 21, по КАС РФ ст. 31, в судах общей юрисдикции (районные, мировые и т.д.) ст. 16 ГПК РФ. К таким основаниям относятся: при предыдущем рассмотрении данного дела участвовал в нем в качестве прокурора, помощника судьи, секретаря судебного заседания, представителя, свидетеля, эксперта, специалиста, переводчика; являлся судебным примирителем по данному делу; является родственником или свойственником кого-либо из лиц, участвующих в деле, либо их представителей; лично, прямо или косвенно заинтересован в исходе дела либо имеются иные обстоятельства, вызывающие сомнение в его объективности и беспристрастности.
То что указали Вы не является основанием для отвода. Как верно отметили - вопрос об отводе, заявленном судье, рассматривающему дело единолично, разрешается тем же судьей. Т.е. шанс что судья удовлетворит отвод минимальный = он уже взял дело и не заявил самоотвод (посчитал себя правомочным его рассматривать). После такого заявления негатив скорее всего усилится.
Остается либо ничего не делать либо писать на него жалобы (что также может быть малоэффективно). При этом можете попробовать записать аудиозапись заседания, для придания должной силы записи - предупредите судью. Хотя они и так должны вести запись. Если дело не закрытое, то это ваше право. Может судья будет вести себя немного адекватнее.
Лица, участвующие в деле, и граждане, присутствующие в открытом судебном заседании, имеют право в письменной форме, а также с помощью средств аудиозаписи фиксировать ход судебного разбирательства. Кино- и фотосъемка, видеозапись, трансляция судебного заседания по радио, телевидению и в информационно-телекоммуникационной сети Интернет допускаются с разрешения суда [ч. 7 ст. 10 ГПК РФ].
Также, хочу отметить из опыта, что некоторые судьи могут вести себя своеобразно, но в итоге решения принимают адекватные.