По мере реализации нашей миссии потребность в хранении список мобильных номеров ближнего востока росла. В октябре 2012 года мы хранили чуть более 10 петабайт уникального контента. Сегодня мы архивируем чуть более 30 петабайт и ежедневно добавляем от 13 до 15 терабайт контента (наиболее обширные ресурсы — интернет и телевидение).
В настоящее время в Internet Archive размещено около 20 000 отдельных дисковых накопителей. Каждый из них размещен на специализированных компьютерах (мы называем их «датаноды»), каждый из которых имеет 36 дисков данных (плюс два диска операционной системы). Узлы данных организованы в стойки по 10 машин (360 дисков данных) и соединены между собой высокоскоростным Ethernet, образуя кластер хранения. Несмотря на то, что за последние четыре года объем нашего хранилища контента утроился, количество дисков осталось примерно прежним. Это связано с усовершенствованием технологий дисковых накопителей. Узлы данных, которые когда-то были заполнены 36 отдельными дисками по 2 терабайта (2T), теперь заполнены дисками по 8 терабайт (8T), что увеличило емкость одного узла с 72 терабайт (64,8T после форматирования) до 288 терабайт (259,2T после форматирования) в том же физическом пространстве! Такое развитие плотности дисков не происходило одномоментно, поэтому в наших кластерах хранения имеются наборы дисков емкостью 2T, 3T, 4T и 8T.