首先，在不知情的情况下被他人取走，已经侵犯了当事人的财产权，应当报案处理，维护自身的权利。其次，如果对方是先偷盗走银行卡，再去银行取钱的，则触犯我国刑法规定的盗窃罪。如果对方是冒用银行卡来使用的，则触犯我国信用卡诈骗罪。两个罪名的量刑与情节是不同的。建议遇到这种情况应当立即报警，追究犯罪嫌疑人的刑事责任，并在对方没有挥霍您弟弟的钱财的情况下，追回损失。

发现银行卡被盗刷后可以进行冻结卡片、去ATM机上打印凭条以及立即去公安局进行报案等做法进行相应的处理。如果发现了银行卡内的异动时要在第一时间，及时去附近的ATM机上进行修改密码或者是故意输错多次密码，使银行卡被冻结。还要及时向公安机关报案，详细叙述自己被盗刷的情况，留好报警回执。

银行卡被盗刷的处理办法：打电话给银行客服挂失止损；向银行询问盗刷的方式、时间、地点、交易另一方账户信息，必要时记下客服人员工号；拿银行卡、相关单据和本人身份证件到派出所登记，再到刑侦部门立案；拿立案的回执单与银行或第三方支付平台交涉；如果问题仍未解决可咨询律师起诉。