Проект Apple подвел Goldman Sachs под расследование о дискриминации

Серия вирусных твитов о гендерной дискриминации при скоринге новых клиентов кредитной карты Apple Card привлекла внимание регулятора Нью-Йорка, где находится штаб-квартира партнера корпорации по проекту — Goldman Sachs, пишет Bloomberg. Похоже, выход инвестбанка на рынок потребкредитования в «сцепке» с мировым брендом не будет таким гладким, как ему бы хотелось.

Что случилось? Гендерный скандал начался с твитов сооснователя онлайн-сервиса управления проектами Basecamp Дэвида Хэнсона. Он утверждает, что, несмотря на общее с женой имущество и финансовую отчетность и лучший кредитный рейтинг супруги, система присвоила ему в 20 раз более высокий кредитный лимит по Apple Card. Достучаться до человека оказалось невозможно, подчеркивал он.

Слова Хэнсона вызвали большой резонанс. Проблему подтвердил даже отошедший от дел сооснователь Apple Стив Возняк: его супруге алгоритм при похожих обстоятельствах дал в 10 раз меньший лимит.
На скандал обратила внимание супервайзер департамента финансовых услуг Нью-Йорка Линда Лейсвелл. Она пообещала провести расследование, заявив, что «любой алгоритм, работа которого по злому умыслу или без такового выражается в дискриминации по гендерному или иному признаку, нарушает законы Нью-Йорка».
В Goldman Sachs возразили, что Apple Card оценивает людей строго индивидуально, поэтому ничего странного в разных лимитах супругов нет. Банк утверждает, что никогда не принимал и не будет принимать решений на основе факторов пола и им подобных.

Хэнсон говорит, что, как только PR-департаменту банка стал понятен масштаб происходящего, лимит его супруге повысили.

https://twitter.com/stevewoz/status/1193330241478901760

Контекст. Apple Card — новый продукт Apple, который компания запустила в США летом этого года в партнерстве с Goldman Sachs. Это дебют инвестбанка на рынке кредиток — за счет Apple он сразу получил клиентскую базу и вошел в прямую конкуренцию с JPMorgan и Citigroup. Кредитка от Apple обещает клиентам бесплатный выпуск и обслуживание, низкие комиссии, высокую безопасность транзакций, развитую аналитику и ежедневный кэшбэк. Однако существуют подводные камни, о которых мы тоже рассказали.

Происходящее вокруг скоринга Apple Card — не первый подобный случай: тот же департамент Нью-Йорка расследует дискриминацию афроамериканцев алгоритмом медстраховщика UnitedHealth Group. Главная проблема — в самом устройстве современных скоринговых алгоритмов: почти любой из них представляет собой «черный ящик», где известен вход и выход, но не происходящее внутри.

Цитата. «Дискриминации могло не быть на входе, но она появилась на выходе... Никто не хочет жить по милости капризных алгоритмов. Ни в финансах, ни в недвижимости, ни в рекламе, ни в приеме на работу, ни в одной из множества областей, где машинное обучение и ИИ забирают решения себе. Именно поэтому люди реагируют так нервно», — Дэвид Хэнсон.